AI 公司和 AI 搜索服务会使用自动程序读取公开网站内容。这些程序称为 AI 机器人。您可以选择让哪些已知的 AI 机器人读取网站,或阻止它们。
这是“主动设置”文章;如果您只想知道哪些 AI 机器人已经来过,请阅读“AI 机器人访问记录”。
不同 AI 机器人的用途不同:
阻止训练型机器人通常不影响 Google 的一般搜索结果;但阻止检索型机器人,可能会导致您的网站不再出现在 ChatGPT、Perplexity、Gemini、Grok 或其他 AI 的回答中。
默认没有阻止规则,这意味着允许当前已识别的 AI 机器人访问您的公开网站。
如果您不希望任何已知的训练型机器人读取您的内容,可以关闭训练型类别。如果您关闭检索型类别,系统会再次提醒您这可能会减少 AI 搜索曝光。
如果您只对特定服务有顾虑,可以保留类别开启,改为关闭单个机器人。例如,您可以只阻止 GPTBot 或 Google-Extended。
Googlebot、Bingbot 和 Applebot 不提供阻止开关,这是为了避免您不小心让传统搜索引擎无法收录您的网站。如果网站不应出现在搜索结果中,应改用“页面 → SEO”的 noindex 设置,并理解这会影响搜索曝光。
Kanorio 会通过两层方式处理:
如果您改用完全自定义的 Robots.txt,自动 Robots 规则不会附加,但边缘层的阻止仍然会生效。
Kanorio 会自动提供 LLMs.txt 和 LLMs-full.txt。它们像是给 AI 工具阅读的网站目录和完整内容摘要,帮助能够读取您网站的工具理解品牌和各页主题。
这些文件不会强制任何 AI 使用或引用您的网站,也不会绕过您设置的机器人阻止。您可以在“技术性 SEO”设置中预览或改为自定义内容。
不会直接影响 Google 的一般搜索爬虫。Google 搜索使用 Googlebot,而训练或 AI 扩展用途可能使用不同的机器人,例如 Google-Extended。
不能。设置会阻止 Kanorio 已识别且可阻止的机器人,但未知、伪装成普通浏览器或不遵守规则的程序仍可能尝试访问公开内容。
历史记录不会消失。请查看设置后的新记录,确认最新的请求显示为已阻止。