当潜在客户在 ChatGPT、Claude、Perplexity 或 Google AI 搜索中查询与您行业相关的问题时,这些 AI 服务派出的自动机器人(AI Crawlers/Bots)会先到您的公开网站读取内容。
由于 AI 机器人不会像真人一样在浏览器执行前端 JavaScript 追踪码,Kanorio 特别在服务器端建立了独立的追踪管线,将所有已知 AI 与搜索爬虫的读取记录呈现在“数据分析 › AI 机器人”分页——既不会把您的真人访客流量灌水,又能让您清楚掌握哪些内容最常被 AI 引用读取!
想看“真人”从 ChatGPT 或 Gemini 点链接进站,还是调整机器人封锁规则?
- 本篇介绍的是“AI 自动爬虫机器人来读您的网站”。如果您想看“真人在 ChatGPT、Google Gemini、Claude 的回答中点击引用链接来到您网站”的客源统计,请前往“数据分析 › 总览”的流量来源切换至“AI 助理”(详见)。
- 若您想了解如何强化 AI 搜索引用率(AEO/GEO)或设置“封锁训练型、放行检索型”策略,请参阅。
打开“数据分析 › AI 机器人”,顶部 4 张卡片会显示所选期间的总计与对比上一期的增减百分比:
| 指标卡名称 | 代表意义 | 实战判读重点 |
|---|---|---|
| 总访问次数 | 已知 AI 与搜索引擎机器人读取您公开网站页面的总请求次数(不含真人浏览)。 | 观察您的网站内容是否持续被各大 AI 与搜索引擎检索更新。 |
| 已封锁 | 命中您在“封锁规则”设置为封锁的机器人,以及被网站直接返回 403 Forbidden 拒绝访问的次数。 | 点击此卡片可直接打开“AI 机器人封锁规则”面板。被拦截的请求仍会记录于此,证明防火墙确实为您守住了内容! |
| IP 已验证 | 来源 IP 与该 AI 运营方公开发布的官方服务器 IP 段比对成功的次数。 | 代表这是货真价实、来自 OpenAI、Google、Anthropic、Perplexity、Apple、Meta、Microsoft 等官方派出的机器人。 |
| 疑似伪造 | 名称(User-Agent)自称是知名 AI 机器人,但来源 IP 与官方公布的网段不符的次数。 | 常见于第三方爬虫假冒 GPTBot 或 Googlebot 名义尝试抓取网页。 |
报表中的排行榜与比例长条图,会将涵盖 OpenAI、Anthropic(Claude)、Google、Perplexity、Meta、Apple、Microsoft(Bing)、Amazon、xAI、Mistral、Cohere、DuckDuckGo、ByteDance、You.com、Common Crawl、Diffbot、AI2、iAsk 等 18 家运营方、35 种机器人,依公开用途分为三类:
ChatGPT-User、OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot。当使用者在 AI 对话框提问时,它们会即时来读取您的网页并附上您的网站链接。建议一律维持“允许”,才能带来免费的 AI 搜索曝光!GPTBot、ClaudeBot、Google-Extended、Meta-ExternalAgent、CCBot。它们读取内容是为了拿去训练下一代 AI 模型,不一定会在回答中附上您的网址。若您重视原创图文版权,可随时将训练型机器人设为“封锁”。Googlebot、Bingbot、Applebot。负责让您的网站出现在 Google 与 Bing 搜索结果中(此类为网站曝光命脉,系统默认保护不提供封锁,若要关闭全站搜索收录请至)。网络上任何程序都可以把自己的名字(User-Agent)改成 GPTBot。为了不让假冒爬虫混淆您的数据,Kanorio 会在服务器后台自动比对各家官方公开的 IP 清单(CIDR 与 ASN 网络编号):
| 验证状态标签 | 系统判定方式 | 您该如何看待? |
|---|---|---|
| 已验证(Verified) | 请求的连接 IP 落在 OpenAI、Anthropic(Claude)、Google、Perplexity、Apple、Bing、Meta、Amazon 等官方公布的服务器 IP 范围内。 | 可百分之百放心视为官方真实访问。 |
| 疑似伪造(Spoofed) | 请求自称是某家拥有公开 IP 清单的知名机器人,但连接 IP 根本不在官方范围内。 | 代表是外部第三方程序冒名顶替。若只是零星出现不必理会;若发现异常大量抓取,可随时封锁该类型或联系客服。 |
| 无法验证(Unverifiable) | 该机器人所属公司(如部分初创 AI 或未公开 IP 清单的服务)目前未对外公布固定 IP 段可供比对。 | “无法验证”不等于恶意或假冒,只代表该运营方尚未公开官方 IP 清单供全球核对。若您使用自己的前端(Headless)回传爬虫访问,Kanorio 收到的是前端服务器的 IP,这些访问也会一律归在此类。 |
有访问代表您的网站已经顺利进入 AI 的检索雷达、没有被技术门槛挡住!至于 AI 在回答特定问题时最终决定引用哪几篇网页,会取决于您的内容是否直接回答了使用者的问题、结构是否清晰。想提升被 AI 优先引用的机率,请参阅AI 搜索优化与机器人管理的写作建议。
刚发布的新网站,各家 AI 爬虫与搜索引擎需要一点时间通过外部链接、Sitemap 或 IndexNow 通报发现您的网址。建议您先至"SEO › 总览"完成 Google Search Console 一键登记,通常几天到几周内就会陆续看到各家机器人前来访问。
后台的总计、机器人排行与逐页意图汇总(AI 搜索/训练/搜索引擎读取)为永久保存,您可以在右上角选取任意历史时期(单次最长 90 天)查看并与前期比较。其中逐页意图汇总是较新的报表,最早只回溯到这项功能推出前 90 天,更早的日子只有总计与排行。若通过 AI 助理(MCP)或管理 API 查询,单次最长可查 10 年(3,650 天)的总计与逐页意图;"每一页被哪个机器人读了几次"的细项只保留最近 90 天。