管理 AI 爬虫读取您的网站
概述
AI 公司和 AI 搜索服务会使用自动程序读取公开网站内容。这些程序称为 AI 爬虫。您可以选择允许哪些已知的 AI 爬虫读取网站，或将其屏蔽。
这是“主动设置”文章；如果您只想知道哪些 AI 爬虫已曾到访，请阅读“AI 爬虫访问记录”。
先想清楚您要保护或争取什么
不同的 AI 爬虫有不同的用途：
- 训练型爬虫：可能用于协助模型学习公开内容。
- 检索型爬虫：可能在用户提问时查找并引用公开内容。
- 搜索引擎爬虫：例如 Googlebot、Bingbot，主要用于传统搜索结果。
屏蔽训练型爬虫通常不影响 Google 的一般搜索结果；但屏蔽检索型爬虫，可能导致您的网站不再出现在 ChatGPT、Perplexity、Gemini、Grok 或其他 AI 的回答中。
在哪里设置
- 打开“营销科技”。
- 在“AI 爬虫”打开设置面板。
- 根据您的需求，切换训练型、检索型或单个爬虫的屏蔽状态。
- 保存后，在“数据分析 → AI 爬虫”观察之后的允许或屏蔽记录。
默认没有屏蔽规则，代表允许目前已识别的 AI 爬虫访问公开网站。
选择屏蔽方式
屏蔽整个类型
如果您不希望任何已知的训练型爬虫读取内容，可以关闭训练型类别。如果您关闭检索型类别，系统会再次提醒您这可能减少 AI 搜索曝光。
屏蔽单个爬虫
如果您只对特定服务有顾虑，可保留类别开启，改为关闭单个爬虫。例如，您可以只屏蔽 GPTBot 或 Google-Extended。
搜索引擎爬虫无法在此屏蔽
Googlebot、Bingbot 及 Applebot 并未提供屏蔽开关，这是为了避免您不慎让传统搜索引擎无法收录您的网站。如果网站不应出现在搜索结果，应改用“页面 → SEO”的 noindex 设置，并理解这会影响搜索曝光。
Kanorio 如何执行屏蔽
Kanorio 会通过两层方式处理：
- 在自动生成的 Robots.txt 中加入规则，告知遵守协议的爬虫不要读取。
- 在公开网站边缘层直接响应 403，让已知且已被屏蔽的爬虫无法获取内容。
如果您改用完全自定义的 Robots.txt，自动 Robots 规则将不会附加，但边缘层的屏蔽仍然会运作。
LLMs.txt 是什么
Kanorio 会自动提供 LLMs.txt 和 LLMs-full.txt。它们如同给 AI 工具阅读的网站目录及完整内容摘要，协助能读取网站的工具理解品牌及各页主题。
这些文件不会强迫任何 AI 使用或引用您的网站，也不会绕过您设置的爬虫屏蔽。您可以在“SEO 与搜索引擎”设置中预览或改为自定义内容。
常见问题
不会直接影响 Google 的一般搜索爬虫。Google 搜索使用 Googlebot，而训练或 AI 的延伸用途可能使用不同的爬虫，例如 Google-Extended。
不能。设置会屏蔽 Kanorio 已识别且可屏蔽的爬虫，但未知、伪装成一般浏览器或不遵守规则的程序仍可能尝试访问公开内容。
历史记录不会消失。请查看设置后新的记录，确认最新的请求显示为已屏蔽。