當潛在顧客在 ChatGPT、Claude、Perplexity 或 Google AI 搜尋中查詢與您行業相關的問題時,這些 AI 服務派出的自動機器人(AI Crawlers/Bots)會先到您的公開網站讀取內容。
由於 AI 機器人不會像真人一樣在瀏覽器執行前端 JavaScript 追蹤碼,Kanorio 特別在伺服器端建立了獨立的追蹤管線,將所有已知 AI 與搜尋爬蟲的讀取紀錄呈現在「數據分析 › AI 機器人」分頁——既不會把您的真人訪客流量灌水,又能讓您清楚掌握哪些內容最常被 AI 引用讀取!
想看「真人」從 ChatGPT 或 Gemini 點連結進站,還是調整機器人封鎖規則?
- 本篇介紹的是「AI 自動爬蟲機器人來讀您的網站」。如果您想看「真人在 ChatGPT、Google Gemini、Claude 的回答中點擊引用連結來到您網站」的客源統計,請前往「數據分析 › 總覽」的流量來源切換至「AI 助理」(詳見)。
- 若您想了解如何強化 AI 搜尋引用率(AEO/GEO)或設定「封鎖訓練型、放行檢索型」策略,請參閱。
打開「數據分析 › AI 機器人」,頂部 4 張卡片會顯示所選期間的總計與對比上一期的增減百分比:
| 指標卡名稱 | 代表意義 | 實戰判讀重點 |
|---|---|---|
| 總造訪次數 | 已知 AI 與搜尋引擎機械人讀取您公開網站頁面的總請求次數(不含真人瀏覽)。 | 觀察您的網站內容是否持續被各大 AI 與搜尋引擎檢索更新。 |
| 已封鎖 | 命中您在「封鎖規則」設定為封鎖的機械人,以及被網站直接回傳 403 Forbidden 拒絕存取的次數。 | 點選此卡片可直接打開「AI 機械人封鎖規則」面板。被擋下的請求仍會記錄於此,證明防火牆確實為您守住了內容! |
| IP 已驗證 | 來源 IP 與該 AI 營運方公開發布的官方伺服器 IP 段比對成功的次數。 | 代表這是貨真價實、來自 OpenAI、Google、Anthropic、Perplexity、Apple、Meta、Microsoft 等官方派出的機械人。 |
| 疑似偽造 | 名稱(User-Agent)自稱是知名 AI 機械人,但來源 IP 與官方公布的網段不符的次數。 | 常見於第三方爬蟲假冒 GPTBot 或 Googlebot 名義嘗試抓取網頁。 |
報表中的排行榜與比例長條圖,會將涵蓋 OpenAI、Anthropic(Claude)、Google、Perplexity、Meta、Apple、Microsoft(Bing)、Amazon、xAI、Mistral、Cohere、DuckDuckGo、ByteDance、You.com、Common Crawl、Diffbot、AI2、iAsk 等 18 家營運方、35 種機器人,依公開用途分為三類:
ChatGPT-User、OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot。當使用者在 AI 對話框提問時,它們會即時來讀取您的網頁並附上您的網站連結。建議一律維持「允許」,才能帶來免費的 AI 搜尋曝光!GPTBot、ClaudeBot、Google-Extended、Meta-ExternalAgent、CCBot。它們讀取內容是為了拿去訓練下一代 AI 模型,不一定會在回答中附上您的網址。若您重視原創圖文版權,可隨時將訓練型機器人設為「封鎖」。Googlebot、Bingbot、Applebot。負責讓您的網站出現在 Google 與 Bing 搜尋結果中(此類為網站曝光命脈,系統預設保護不提供封鎖,若要關閉全站搜尋收錄請至)。網路上任何程式都可以把自己的名字(User-Agent)改成 GPTBot。為了不讓假冒爬蟲混淆您的數據,Kanorio 會在伺服器背景自動比對各家官方公開的 IP 清單(CIDR 與 ASN 網絡編號):
| 驗證狀態標籤 | 系統判定方式 | 您該如何看待? |
|---|---|---|
| 已驗證(Verified) | 請求的連線 IP 落在 OpenAI、Anthropic(Claude)、Google、Perplexity、Apple、Bing、Meta、Amazon 等官方公布的伺服器 IP 範圍內。 | 可百分之百放心視為官方真實造訪。 |
| 疑似偽造(Spoofed) | 請求自稱是某家擁有公開 IP 清單的知名機械人,但連線 IP 根本不在官方範圍內。 | 代表是外部第三方程式冒名頂替。若只是零星出現不必理會;若發現異常大量抓取,可隨時封鎖該類型或聯繫客戶服務。 |
| 無法驗證(Unverifiable) | 該機械人所屬公司(如部分新創 AI 或未公開 IP 清單的服務)目前未對外公布固定 IP 段可供比對。 | 「無法驗證」不等於惡意或假冒,只代表該營運方尚未公開官方 IP 清單供全球核對。若您使用自己的前端(Headless)回報爬蟲造訪,Kanorio 收到的是前端伺服器的 IP,這些造訪也會一律歸在此類。 |
有造訪代表您的網站已經順利進入 AI 的檢索雷達、沒有被技術門檻擋住!至於 AI 在回答特定問題時最終決定引用哪幾篇網頁,會取決於您的內容是否直接回答了使用者的問題、結構是否清晰。想提升被 AI 優先引用的機率,請參閱AI 搜尋優化與機器人管理的寫作建議。
剛發佈的新網站,各家 AI 爬蟲與搜尋引擎需要一點時間透過外部連結、Sitemap 或 IndexNow 通報發現您的網址。建議您先至「SEO › 總覽」完成 Google Search Console 一鍵登記,通常幾天到幾週內就會陸續看到各家機器人前來造訪。
後台的總計、機器人排行與逐頁意圖彙總(AI 搜尋/訓練/搜尋引擎讀取)為永久保存,您可以在右上角選取任意歷史時期(單次最長 90 天)查看並與前期比較。其中逐頁意圖彙總是較新的報表,最早只回溯到這項功能推出前 90 天,更早的日子只有總計與排行。若透過 AI 助理(MCP)或管理 API 查詢,單次最長可查 10 年(3,650 天)的總計與逐頁意圖;「每一頁被哪個機器人讀了幾次」的細項只保留最近 90 天。