ウェブサイトへのAIクローラーのアクセスを管理する

概要

AI企業やAI検索サービスは、AIクローラーと呼ばれる自動プログラムを使用して公開ウェブサイトのコンテンツを読み取ります。サイトへのアクセスを許可する既知のAIクローラーを選択したり、ブロックしたりすることができます。

これは「アクティブ設定」の記事です。どのAIクローラーが訪問したかを確認したいだけの場合は、「AIクローラー訪問ログ」をお読みください。

保護または宣伝したいものを決定する

異なるAIクローラーは異なる目的を持っています。

• トレーニングクローラー: モデルが公開コンテンツから学習するのを助けるために使用される場合があります。
• 検索クローラー: ユーザーが質問したときに公開コンテンツを見つけて引用するために使用される場合があります。
• 検索エンジンクローラー: GooglebotやBingbotなど、主に従来の検索結果に使用されます。

トレーニングクローラーをブロックしても、通常はGoogleの一般的な検索結果に影響はありません。ただし、検索クローラーをブロックすると、ChatGPT、Perplexity、Gemini、Grok、またはその他のAIサービスからの回答にサイトが表示されなくなる可能性があります。

設定方法

1. "マーケティングテクノロジー"を開きます。
2. "AIクローラー"の下の設定パネルを開きます。
3. 必要に応じて、トレーニング、検索、または個々のクローラーのブロックステータスを切り替えます。
4. 保存後、"アナリティクス → AIクローラー"で許可/ブロックログを監視します。

デフォルトでは、ブロックルールは設定されていません。これは、現在識別されているすべてのAIクローラーが公開ウェブサイトにアクセスできることを意味します。

アクセスをブロックする方法

カテゴリ全体をブロックする

既知のトレーニングクローラーにコンテンツへのアクセスを許可したくない場合は、「トレーニング」カテゴリを無効にすることができます。「検索」カテゴリを無効にすると、AI検索の可視性が低下する可能性があるというリマインダーが表示されます。

個々のクローラーをブロックする

特定のサービスについて懸念がある場合は、カテゴリを有効にしたまま個々のクローラーを無効にすることができます。たとえば、GPTBotまたはGoogle-Extendedのみをブロックすることを選択できます。

検索エンジンクローラーはここでブロックできません

Googlebot、Bingbot、Applebotにはブロック切り替えがありません。これは、従来の検索エンジンへのサイトアクセスを誤って不可能にしないようにするためです。サイトが検索結果に表示されるべきでない場合は、代わりに"ページ → SEO"のnoindex設定を使用してください。これは検索の可視性に影響することに注意してください。

Kanorioはどのようにブロックを強制しますか

Kanorioは2層アプローチを使用しています。

• 自動生成されたRobots.txtファイルにルールを追加し、準拠したクローラーにコンテンツへのアクセスを指示します。
• 既知のブロックされたクローラーに対して、エッジレイヤーで直接403 Forbiddenステータスで応答し、コンテンツの取得を防ぎます。

完全にカスタムのRobots.txtファイルに切り替えた場合、自動生成されたルールは追加されませんが、エッジレイヤーのブロックは引き続き機能します。

LLMs.txtとは何ですか？

KanorioはLLMs.txtとLLMs-full.txtを自動的に提供します。これらはAIツール向けのサイトディレクトリおよび完全なコンテンツ概要として機能し、ブランドとページトピックの理解を助けます。

これらのファイルは、AIにウェブサイトの使用または引用を強制したり、クローラーブロック設定をバイパスしたりするものではありません。"SEOと検索エンジン"の設定で、カスタムコンテンツをプレビューまたは切り替えることができます。

関連ドキュメント

• AIクローラー訪問ログ
• サイトマップと検索エンジンのインデックス作成
• ページの検索タイトルと説明の設定