AI 爬蟲造訪紀錄
概述
AI 爬蟲是由 AI 服務或搜尋服務派出的自動程式。它們會讀取公開網站內容,可能用於訓練模型、回答使用者問題、建立 AI 搜尋結果或一般搜尋索引。
「數據分析」中的「AI 爬蟲」分頁讓您查看哪些已知 AI 爬蟲造訪過您的公開網站,以及它們是否被允許或封鎖。這篇文章只說明如何讀取紀錄;如果您想改變哪些爬蟲可讀取網站,請閱讀「管理 AI 爬蟲讀取您的網站」。
在哪裡查看
一般人類訪客不會出現在這個分頁。AI 爬蟲不會執行一般網站的前端 JavaScript 追蹤,因此它們會以伺服器端紀錄獨立統計。
看懂三種爬蟲目的
- 訓練型:可能用來協助 AI 模型學習公開內容。
- 檢索型:可能在使用者提問時尋找和引用公開內容。
- 搜尋型:一般搜尋引擎使用的爬蟲,例如 Googlebot。
目的分類是依已知爬蟲的公開資訊整理,並不代表每一次造訪都能精確得知最終用途。
看懂驗證狀態
已驗證
系統比對來源 IP 和營運方公布的網絡範圍後,確認這次請求較可信地來自該官方爬蟲。
疑似冒充
請求的名稱看起來像已知 AI 爬蟲,但來源 IP 無法對上官方範圍。這可能是第三方假冒名稱,不要直接把它當成官方 AI 服務的真實造訪。
無法驗證
部分服務沒有可供比對的公開 IP 資訊,或當次請求無法完成驗證。無法驗證不等於惡意,只代表系統無法確認真偽。
已允許和已封鎖
紀錄中的「已允許」表示請求可以繼續讀取公開網站;「已封鎖」表示它符合您在「行銷科技 → AI 爬蟲」中的封鎖規則,公開網站會回應拒絕存取。
封鎖紀錄仍然很有價值。它能讓您確認規則確實正在運作,以及哪些爬蟲持續嘗試存取。
頁面明細怎麼用
頁面明細會列出爬蟲碰過的網址。若某個重要頁面一直沒有被已知爬蟲讀取,不代表它一定不會出現在搜尋結果;爬取頻率由各服務自行決定,網站剛發佈或內容較少時尤其需要時間。
常見問題
不代表。造訪只表示爬蟲讀取過公開網站。是否訓練、收錄、引用或在回答中呈現,仍由各服務自行決定。
不一定。網站剛發佈、流量較少、爬蟲尚未排程造訪,或爬蟲不在目前辨識清單中,都可能讓報表暫時沒有資料。
先確認該請求是否造成異常流量。若只是少量紀錄,通常不需立即處理;若您發現持續異常,請保留日期、截圖和網址後聯絡客服。