精准 AI 机器人造访追踪管理每一个读取您网站的 AI

「训练型爬虫」（如 GPTBot、ClaudeBot、Google-Extended、CCBot）抓取内容是为了训练未来的大模型，不一定会附上来源链接；「检索型爬虫」（如 OAI-SearchBot、ChatGPT-User、PerplexityBot）则是在用户提问时实时读取网页并附上引用链接。推荐策略是「开放检索型以赢得 AI 搜索引用与导流，并视原创保护需求封锁训练型爬虫」，您可按类别一键切换或逐一独立设置。

一般 robots.txt 只是君子协定，不守规矩的爬虫可以直接无视。当您在 Kanorio 封锁特定 AI 机器人时，除了自动更新 /robots.txt，还会在全球边缘网络对报出该名称的爬虫直接返回 HTTP 403，不交出页面内容；刻意隐藏名称的爬虫则无法靠名称识别。托管网站的每笔命中，系统也会比对各 AI 厂商每日公布的官方 IP 网段（CIDR）与 ASN 网络编号，标记「已验证官方 IP」或「疑似伪造（Spoofed）」；自建前端回报的命中则标示为「无法验证」。

不会。搜索引擎的核心收录爬虫（Googlebot、Bingbot、Applebot）固定放行、无法封锁，与 AI 训练用的控制代号（如 Google-Extended、Applebot-Extended）分开处理；不论怎么调整 AI 封锁规则，都不会挡到 Google 与 Bing 的网页收录，也不会影响一般访客浏览。

只需在自建前端的 Middleware 挂载 @kanorio/sdk/edge 的 createKanorioMiddleware，即可每 60 秒自动从 Delivery API（/api/v1/site）同步最新封锁规则（crawlerRules.blockedTokens）与 301 重定向，在边缘层执行 HTTP 403 拦截并通过非阻塞 waitUntil 自动回报 POST /api/v1/analytics/bot-hit。日后在后台改规则，自建前端免重新部署即自动生效。

全方案（含永久免费版）免费内建。后台支持选取任意历史时期（单次最长 90 天）查看总量、排行与每页意图汇总（永久保存）；通过 MCP 或管理 API 调用 analytics.bots，则支持查询最长 10 年（3,650 天）的汇总与逐页意图（breakdown='page'），并支持查询最近 90 天内的「逐页 × 逐机器人」明细（breakdown='page_bot'，附游标分页）。