AI 회사 및 AI 검색 서비스는 자동화된 프로그램을 사용하여 공개 웹사이트 콘텐츠를 읽습니다. 이러한 프로그램을 AI 봇이라고 합니다. 알려진 AI 봇 중 사이트를 읽도록 허용할 봇을 선택하거나 차단할 수 있습니다.
이 문서는 "활성 설정"에 관한 것입니다. 어떤 AI 봇이 방문했는지 알고 싶다면 "AI 봇 방문 기록"을 읽어보세요.
AI 봇은 각기 다른 목적을 가지고 있습니다.
훈련 봇을 차단해도 일반적으로 Google의 일반 검색 결과에는 영향을 미치지 않습니다. 그러나 검색 봇을 차단하면 ChatGPT, Perplexity, Gemini, Grok 또는 기타 AI의 답변에 사이트가 표시되지 않을 수 있습니다.
기본적으로 차단 규칙이 없으므로, 현재 인식된 모든 AI 봇이 공개 웹사이트에 액세스하도록 허용됩니다.
알려진 훈련 봇이 콘텐츠를 읽는 것을 원하지 않으면 훈련 카테고리를 끌 수 있습니다. 검색 카테고리를 끄면 AI 검색 가시성이 저하될 수 있다는 점을 시스템에서 다시 한번 알려줄 것입니다.
특정 서비스에 대한 우려가 있다면 카테고리를 활성화된 상태로 두고 개별 봇을 비활성화할 수 있습니다. 예를 들어 GPTBot 또는 Google-Extended만 차단할 수 있습니다.
Googlebot, Bingbot, Applebot에는 차단 스위치가 없습니다. 이는 기존 검색 엔진이 사이트를 색인화하지 못하도록 실수로 방지하기 위함입니다. 사이트가 검색 결과에 표시되지 않아야 한다면, 대신 "페이지 → SEO"에서 noindex 설정을 사용해야 하며, 이는 검색 가시성에 영향을 미친다는 점을 이해해야 합니다.
Kanorio는 두 가지 계층에서 차단을 처리합니다.
완전히 사용자 정의된 Robots.txt로 전환하면 자동 Robots 규칙이 추가되지 않지만, 엣지 계층 차단은 계속 작동합니다.
Kanorio는 LLMs.txt 및 LLMs-full.txt를 자동으로 제공합니다. 이 파일들은 AI 도구가 사이트에 액세스할 때 브랜드와 각 페이지의 주제를 이해하는 데 도움이 되는 웹사이트 디렉토리 및 전체 콘텐츠 요약 역할을 합니다.
이 파일들은 AI가 귀하의 웹사이트를 사용하거나 인용하도록 강제하지 않으며, 설정된 봇 차단을 우회하지도 않습니다. "기술 SEO" 설정에서 사용자 정의 콘텐츠를 미리 보거나 전환할 수 있습니다.
아니요, Google의 일반 검색 크롤러에는 직접적인 영향을 주지 않습니다. Google 검색은 Googlebot을 사용하지만, 훈련 또는 확장 AI는 Google-Extended와 같은 다른 봇을 사용할 수 있습니다.
아니요. 설정은 Kanorio가 식별하고 차단할 수 있는 봇을 차단하지만, 알 수 없는 프로그램, 일반 브라우저로 위장한 프로그램 또는 규칙을 따르지 않는 프로그램은 계속해서 공개 콘텐츠에 액세스하려고 시도할 수 있습니다.
기록 로그는 삭제되지 않습니다. 설정을 적용한 후 새 로그를 확인하여 최신 요청이 차단으로 표시되는지 확인하십시오.
