웹사이트에 대한 AI 크롤러 액세스 관리

개요

AI 회사 및 AI 검색 서비스는 AI 크롤러라는 자동화된 프로그램을 사용하여 공개 웹사이트 콘텐츠를 읽습니다. 사이트에 액세스하도록 허용할 알려진 AI 크롤러를 선택하거나 차단할 수 있습니다.

이것은 "활성 설정" 문서입니다. 방문한 AI 크롤러를 확인만 하려면 "AI 크롤러 방문 기록"을 읽으십시오.

보호하거나 홍보할 내용 결정

다양한 AI 크롤러는 다양한 목적을 가지고 있습니다.

• 학습 크롤러: 모델이 공개 콘텐츠에서 학습하는 데 사용될 수 있습니다.
• 검색 크롤러: 사용자가 질문할 때 공개 콘텐츠를 찾아 인용하는 데 사용될 수 있습니다.
• 검색 엔진 크롤러: Googlebot 및 Bingbot과 같이 주로 기존 검색 결과에 사용됩니다.

학습 크롤러를 차단해도 일반적으로 Google의 일반 검색 결과에는 영향을 미치지 않습니다. 그러나 검색 크롤러를 차단하면 ChatGPT, Perplexity, Gemini, Grok 또는 기타 AI 서비스의 답변에 사이트가 표시되지 않을 수 있습니다.

설정 구성 방법

1. "마케팅 기술"을 엽니다.
2. "AI 크롤러" 아래의 설정 패널을 엽니다.
3. 필요한 경우 학습, 검색 또는 개별 크롤러에 대한 차단 상태를 전환합니다.
4. 저장 후 "분석 → AI 크롤러"에서 허용/차단 기록을 모니터링합니다.

기본적으로 차단 규칙이 설정되어 있지 않으므로 현재 식별된 모든 AI 크롤러가 공개 웹사이트에 액세스할 수 있습니다.

액세스 차단 방법

전체 카테고리 차단

알려진 학습 크롤러가 콘텐츠에 액세스하는 것을 원하지 않으면 "학습" 카테고리를 비활성화할 수 있습니다. "검색" 카테고리를 비활성화하면 AI 검색 가시성이 줄어들 수 있다는 알림이 표시됩니다.

개별 크롤러 차단

특정 서비스에 대한 우려가 있는 경우 카테고리를 활성화한 상태로 개별 크롤러를 비활성화할 수 있습니다. 예를 들어 GPTBot 또는 Google-Extended만 차단하도록 선택할 수 있습니다.

검색 엔진 크롤러는 여기서 차단할 수 없습니다

Googlebot, Bingbot, Applebot에는 차단 스위치가 없습니다. 이는 기존 검색 엔진에 대한 사이트 액세스를 실수로 불가능하게 만드는 것을 방지하기 위함입니다. 사이트가 검색 결과에 표시되지 않아야 하는 경우 대신 "페이지 → SEO"의 noindex 설정을 사용하십시오. 이 설정은 검색 가시성에 영향을 미친다는 점을 이해하십시오.

Kanorio는 어떻게 차단을 시행하나요?

Kanorio는 두 가지 계층 접근 방식을 사용합니다.

• 자동 생성된 Robots.txt 파일에 규칙을 추가하여 규정을 준수하는 크롤러에게 콘텐츠 액세스를 지시합니다.
• 알려진 차단된 크롤러에 대해 엣지 계층에서 직접 403 Forbidden 상태로 응답하여 콘텐츠 검색을 방지합니다.

완전히 사용자 정의된 Robots.txt 파일로 전환하면 자동 생성된 규칙이 추가되지 않지만 엣지 계층 차단은 계속 작동합니다.

LLMs.txt란 무엇인가요?

Kanorio는 LLMs.txt 및 LLMs-full.txt를 자동으로 제공합니다. 이 파일들은 AI 도구를 위한 사이트 디렉토리 및 전체 콘텐츠 요약 역할을 하여 브랜드 및 페이지 주제를 이해하도록 돕습니다.

이 파일들은 AI가 귀하의 웹사이트를 사용하거나 인용하도록 강제하지 않으며, 크롤러 차단 설정을 우회하지도 않습니다. "SEO 및 검색 엔진" 설정에서 사용자 정의 콘텐츠를 미리 보거나 전환할 수 있습니다.

관련 문서

• AI 크롤러 방문 기록
• 사이트맵 및 검색 엔진 색인 생성
• 페이지의 검색 제목 및 설명 설정