管理 AI 爬蟲讀取您的網站
概覽
AI 公司及 AI 搜尋服務會使用自動程式讀取公開網站內容。這些程式稱為 AI 爬蟲。您可以選擇允許哪些已知的 AI 爬蟲讀取網站，或將其封鎖。
這是「主動設定」文章；若您只想知道哪些 AI 爬蟲已曾到訪，請閱讀「AI 爬蟲造訪紀錄」。
先釐清您想保護或爭取什麼
不同的 AI 爬蟲有不同的用途：
- 訓練型爬蟲：可能用於協助模型學習公開內容。
- 檢索型爬蟲：可能在使用者提問時尋找及引用公開內容。
- 搜尋引擎爬蟲：例如 Googlebot、Bingbot，主要用於傳統搜尋結果。
封鎖訓練型爬蟲通常不影響 Google 的一般搜尋結果；但封鎖檢索型爬蟲，可能導致您的網站不再出現在 ChatGPT、Perplexity、Gemini、Grok 或其他 AI 的回答中。
在哪裡設定
- 開啟「營銷科技」。
- 在「AI 爬蟲」開啟設定面板。
- 根據您的需求，切換訓練型、檢索型或個別爬蟲的封鎖狀態。
- 儲存後，於「數據分析 → AI 爬蟲」觀察之後的允許或封鎖紀錄。
預設沒有封鎖規則，代表允許目前已識別的 AI 爬蟲存取公開網站。
選擇封鎖方式
封鎖整個類型
若您不希望任何已知的訓練型爬蟲讀取內容，可以關閉訓練型類別。若您關閉檢索型類別，系統會再次提醒您這可能減少 AI 搜尋曝光。
封鎖個別爬蟲
若只對特定服務有顧慮，可保留類別開啟，改為關閉個別爬蟲。例如，您可以只封鎖 GPTBot 或 Google-Extended。
搜尋引擎爬蟲無法在此封鎖
Googlebot、Bingbot 及 Applebot 並未提供封鎖開關，這是為了避免您不慎讓傳統搜尋引擎無法收錄您的網站。若網站不應出現在搜尋結果，應改用「頁面 → SEO」的 noindex 設定，並理解這會影響搜尋曝光。
Kanorio 如何執行封鎖
Kanorio 會透過兩層方式處理：
- 在自動生成的 Robots.txt 中加入規則，告知遵守協議的爬蟲不要讀取。
- 在公開網站邊緣層直接回應 403，讓已知且已被封鎖的爬蟲無法取得內容。
若您改用完全自訂的 Robots.txt，自動 Robots 規則將不會附加，但邊緣層的封鎖仍然會運作。
LLMs.txt 是什麼
Kanorio 會自動提供 LLMs.txt 和 LLMs-full.txt。它們如同給 AI 工具閱讀的網站目錄及完整內容摘要，協助能讀取網站的工具理解品牌及各頁主題。
這些檔案不會強迫任何 AI 使用或引用您的網站，亦不會繞過您設定的爬蟲封鎖。您可以在「SEO 與搜尋引擎」設定中預覽或改為自訂內容。
常見問題
不會直接影響 Google 的一般搜尋爬蟲。Google 搜尋使用 Googlebot，而訓練或 AI 的延伸用途可能使用不同的爬蟲，例如 Google-Extended。
不能。設定會封鎖 Kanorio 已識別且可封鎖的爬蟲，但未知、偽裝成一般瀏覽器或不遵守規則的程式仍可能嘗試存取公開內容。
歷史紀錄不會消失。請查看設定後的新紀錄，確認最新的請求顯示為已封鎖。