AI 봇 방문 추적·관리

'학습형 크롤러'(GPTBot, ClaudeBot, Google-Extended, CCBot 등)는 향후 거대 모델 학습을 위해 콘텐츠를 수집하며 출처 링크를 보장하지 않습니다. 반면 '검색형 크롤러'(OAI-SearchBot, ChatGPT-User, PerplexityBot 등)는 사용자 질문에 실시간으로 답하며 출처 링크를 함께 표시합니다. 권장 설정은 '검색형은 허용해 AI 검색 인용과 유입을 확보하고, 원본 자산 보호 필요에 따라 학습형을 차단하는 것'입니다.

일반 robots.txt는 신사협정일 뿐이라 규칙을 지키지 않는 크롤러는 무시할 수 있습니다. Kanorio에서 특정 AI 봇을 차단하면 /robots.txt를 자동으로 갱신하는 것은 물론, 그 봇 이름을 밝힌 크롤러에게는 글로벌 Edge에서 HTTP 403을 바로 돌려줘 페이지 내용을 주지 않습니다. 이름을 숨기는 크롤러는 이름으로는 식별할 수 없습니다. 호스팅 사이트에서는 모든 접속을 AI 업체가 공개한 공식 IP 대역(CIDR)과 ASN(매일 동기화)과 대조해 '공식 IP 확인됨' 또는 '위장 의심'으로 표시하며, 자체 프런트엔드에서 보낸 접속은 '확인 불가'로 표시됩니다.

영향이 없습니다. 검색엔진의 핵심 색인 크롤러(Googlebot, Bingbot, Applebot)는 항상 허용되며 차단할 수 없고, AI 학습 제어 토큰(Google-Extended, Applebot-Extended 등)과 따로 처리됩니다. AI 차단 규칙 때문에 Google이나 Bing의 색인이 멈추는 일은 없으며 실제 방문자에게도 영향이 없습니다.

프론트엔드 Middleware에 @kanorio/sdk/edge의 createKanorioMiddleware를 마운트하기만 하면 60초마다 Delivery API(/api/v1/site)에서 최신 차단 규칙(crawlerRules.blockedTokens)과 301 리다이렉트를 동기화하고 엣지 HTTP 403 차단 및 waitUntil 기반 POST /api/v1/analytics/bot-hit 비동기 리포팅을 수행합니다. 관리 화면에서 규칙을 바꿔도 프론트엔드를 다시 배포할 필요가 없습니다.

평생 무료 플랜을 포함한 모든 플랜에 무료로 기본 내장되어 있습니다. 대시보드에서는 원하는 과거 기간(1회 최대 90일)을 선택해 영구 보관되는 총량, 순위, 페이지별 의도 집계를 볼 수 있으며, MCP 또는 관리 API(analytics.bots)를 통해 최장 10년(3,650일)의 총량 및 페이지별 의도 집계(breakdown='page')와 최근 90일간의 '페이지 × 봇' 상세 내역(breakdown='page_bot', 커서 페이지네이션 포함)을 조회할 수 있습니다.