AI 크롤러 방문 기록
개요
AI 크롤러는 AI 서비스 또는 검색 서비스에서 파견하는 자동화된 프로그램입니다. 공개 웹사이트 콘텐츠를 읽으며, 모델 학습, 사용자 질문 답변, AI 검색 결과 구축 또는 일반 검색 색인 생성에 사용될 수 있습니다.
"분석"의 "AI 크롤러" 탭을 통해 어떤 알려진 AI 크롤러가 공개 웹사이트를 방문했으며 허용되었는지 또는 차단되었는지 확인할 수 있습니다. 이 문서는 로그 읽는 방법만 설명합니다. 사이트 액세스를 제어하려는 경우 "웹사이트에 대한 AI 크롤러 액세스 관리"를 읽어보세요.
확인 위치
일반적인 사람 방문자는 이 탭에 표시되지 않습니다. AI 크롤러는 일반적인 웹사이트의 프론트엔드 JavaScript 추적을 실행하지 않으므로 서버 측 로그로 독립적으로 계산됩니다.
세 가지 크롤러 목적 이해
- 학습: 공개 콘텐츠에서 AI 모델이 학습하도록 돕는 데 사용될 수 있습니다.
- 검색: 사용자가 질문할 때 공개 콘텐츠를 찾아 인용하는 데 사용될 수 있습니다.
- 색인 생성: Googlebot과 같은 일반 검색 엔진에서 사용하는 크롤러.
목적 분류는 알려진 크롤러에 대한 공개적으로 사용 가능한 정보를 기반으로 하며, 모든 방문에 대해 최종 사용을 정확하게 결정할 수 있음을 나타내는 것은 아닙니다.
확인 상태 이해
확인됨
시스템은 소스 IP 주소와 운영 주체가 게시한 네트워크 범위를 비교하여 해당 요청이 공식 크롤러에서 온 것임을 신뢰성 있게 확인합니다.
사칭 의심
요청 이름은 알려진 AI 크롤러와 유사하지만 소스 IP 주소가 공식 범위와 일치하지 않습니다. 이는 제3자가 이름을 사칭하는 것일 수 있으므로 공식 AI 서비스의 정당한 방문으로 간주하지 마십시오.
확인할 수 없음
일부 서비스는 비교를 위한 공개 IP 정보가 부족하거나 현재 요청에 대한 확인을 완료할 수 없습니다. 확인할 수 없다는 것이 악의적이라는 의미는 아니며, 시스템이 인증을 확인할 수 없다는 것을 의미할 뿐입니다.
허용 및 차단
로그의 "허용"은 요청이 공개 웹사이트에 계속 액세스하도록 허용되었음을 의미합니다. "차단"은 "MarTech → AI 크롤러"의 차단 규칙과 일치하여 공개 웹사이트가 액세스 거부 응답을 반환했음을 의미합니다.
차단된 로그도 여전히 가치가 있습니다. 규칙이 작동하고 있는지, 그리고 어떤 크롤러가 지속적으로 액세스를 시도하고 있는지 확인하는 데 도움이 됩니다.
페이지 세부 정보 사용 방법
페이지 세부 정보는 크롤러가 만난 URL 목록입니다. 중요한 페이지가 알려진 크롤러에 의해 읽히지 않았다고 해서 반드시 검색 결과에 나타나지 않는다는 의미는 아닙니다. 크롤링 빈도는 각 서비스에 의해 결정되며, 특히 새로 게시되거나 콘텐츠가 적은 웹사이트의 경우 시간이 걸립니다.
자주 묻는 질문
반드시 그런 것은 아닙니다. 방문은 크롤러가 공개 웹사이트를 읽었다는 것을 의미할 뿐입니다. 학습, 색인 생성, 인용 또는 답변에 사용될지 여부는 각 서비스에 달려 있습니다.
반드시 그런 것은 아닙니다. 새로 게시된 웹사이트, 낮은 트래픽, 예약되지 않은 크롤러 방문 또는 크롤러가 현재 인식 목록에 없는 경우 보고서에 일시적으로 데이터가 표시되지 않을 수 있습니다.
먼저 요청이 비정상적인 트래픽을 유발하는지 확인하십시오. 기록이 몇 건뿐이라면 일반적으로 즉각적인 조치가 필요하지 않습니다. 지속적인 이상 징후를 발견하면 날짜, 스크린샷, URL을 저장한 다음 고객 지원팀에 문의하십시오.