인공지능 검색 봇으로 인한 조회수 증가 문제와 수정 안내(1)
필고
쪽지전송
Views : 3,116
2024-11-22 11:17
자유게시판
1275578470
|
[ 필고 홈페이지 운영 관련 안내: 인공지능 검색 봇 문제와 수정 안내 ]
안녕하세요, 필고 회원님들께,
최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.
* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음
* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.
그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.
* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중
* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:
- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)
검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.
필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.
열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.
감사합니다.
안녕하세요, 필고 회원님들께,
최근 며칠 사이, 필고의 글 조회수가 비정상적으로 증가한 것을 확인하셨을 겁니다. 이는 검색 봇(Search Engine Bot Crawler), 특히 인공지능(AI) 기반 검색 봇의 급증 때문입니다.
* 수정 조치 안내
- 검색 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 인공지능 봇 처럼 보이는 또는 유사한 모든 접속에 대해서 조회수 증가하지 않음
- 유해성 접속 처럼 보이는 또는 유사한 접속에 대해서 조회수 증가하지 않음
* 문제의 원인
필고는 과거에 서버 속도 저하를 방지하기 위해 구글과 네이버 검색 봇만 허용하고 나머지 봇은 차단했었습니다. 하지만 최근 서버 증설로 성능이 향상되면서, 자신감을 가지고 모든 검색 봇의 접근 뿐만아니라 모든 IP 접속을 해제(허용)하였습니다.
그 결과, 구글, 빙, 네이버, 페이스북, 트위터 같은 대형 플랫폼부터 ChatGPT, Claude, Perplexity 등 AI 기반 크롤러와 알려지지 않은 수많은 검색 봇까지 필고 데이터를 경쟁적으로 수집하고 있습니다. 특히, 인공지능 봇들이 필고 데이터를 활용해 자신의 플랫폼 사용자들에게 가공된 정보를 제공하는 사례가 늘어나고 있어, 서버에 심각한 부하를 초래하고 있습니다.
* 주요 문제점
- 대형 AI 봇의 경쟁적인 데이터 수집
- 중소 규모 및 알려지지 않은 검색 봇의 무분별한 크롤링
- 각종 공격성을 띈 접속들이 서버 부하 가중
* 해결 방안
현재 상황을 해결하기 위해 아래와 같은 조치를 검토하고 있습니다:
- 모든 검색 봇 및 유해성 접속을 다시 차단
- 글 조회 기능을 아예 없애기
- 검색 봇 접속 시 조회수 증가를 차단 (가장 유력한 방안)
검색 봇을 통한 조회수는 차단이 된 상태이지만, 인공지능 AI 를 통한 크롤링과 고스트 접속 또는 공격성 접속이 조회수를 증가 시키고 있다고 판단하고 있습니다.
필고의 글/코멘트/사진들은 회원님들의 소중한 노력과 자산이며, AI와 검색 봇들이 필고 데이터를 활용하여 그 효과를 더욱 증대 시킬 수 있습니다.
열심히 노력을 하고 있으니, 조금 더 기다려주시면 감사하겠습니다.
감사합니다.
@알림 : 코멘트를 작성하시려면 로그인을 하십시오.
No. 96856
Page 1938
Reminder :
인공지능 GPT-4o Mini 적용 안내
Reminder :
필고 닉네임 업데이트 안내
( 12 )
조언좀 부탁드립니다 (5)
알리아빠
7,634
00:28
비자연장궁금 (6)
으랴차차차
8,378
24-11-23
직장을 찾고 있습니다. (2)
울트라싸운드
6,738
24-11-23
[사진] Good Morning. (Suman) (3) 1
20Billion
5,654
24-11-23
필리핀 선교 한국인 목사.종신형. 선고(팜팡가) (25)
Kimkim8888
28,043
24-11-22
캐논 EOS m50 판매합니다 (4)
sionk0916
21,160
24-11-21
독서 모임 (10)
소심쟁이
37,897
24-11-21
[사진] BI 김희철, 서민, 김용수 체포 (4)
2424V2424
33,988
24-11-18
Deleted ... ! (1)
라라끼18
13,736
24-11-18
마닐라 콘도 렌트 가격 오른거 같네요 (6)
하루하루라이...
40,223
24-11-17
루이비통 가방 급처분 (5)
tkfwk
35,157
24-11-16