AI企業やAI検索サービスは、公開されているウェブサイトのコンテンツを読み取るために自動化されたプログラムを使用します。これらのプログラムはAIボットと呼ばれます。既知のAIボットのうち、サイトの読み取りを許可するボットを選択したり、ブロックしたりすることができます。
これは「アクティブ設定」の記事です。どのAIボットが訪問したかを知りたいだけの場合は、「AIボットの訪問ログ」をお読みください。
AIボットにはそれぞれ異なる目的があります。
トレーニングボットをブロックしても、通常はGoogleの一般的な検索結果に影響はありません。しかし、検索ボットをブロックすると、ChatGPT、Perplexity、Gemini、GrokなどのAIからの回答にあなたのサイトが表示されなくなる可能性があります。
デフォルトではブロックルールはありません。これは、現在認識されているすべてのAIボットが公開ウェブサイトにアクセスすることを許可することを意味します。
既知のトレーニングボットにコンテンツを読み取られたくない場合は、トレーニングカテゴリをオフにすることができます。検索カテゴリをオフにすると、AI検索での表示が低下する可能性があることをシステムが再度警告します。
特定のサービスに懸念がある場合は、カテゴリを有効にしたまま、個々のボットを無効にすることができます。たとえば、GPTBotまたはGoogle-Extendedのみをブロックできます。
Googlebot、Bingbot、Applebotにはブロック切り替えがありません。これは、従来の検索エンジンがサイトをインデックスできなくなることを誤って防ぐためです。サイトを検索結果に表示させたくない場合は、代わりに"ページ → SEO"のnoindex設定を使用してください。これは検索の可視性に影響することをご理解ください。
Kanorioは2つのレイヤーでブロックを処理します。
完全にカスタムのRobots.txtに切り替えた場合、自動Robotsルールは追加されませんが、エッジレイヤーのブロックは引き続き機能します。
KanorioはLLMs.txtとLLMs-full.txtを自動的に提供します。これらはウェブサイトのディレクトリおよび完全なコンテンツ概要として機能し、AIツールがサイトにアクセスする際に、ブランドや各ページのトピックを理解するのに役立ちます。
これらのファイルは、AIにウェブサイトの使用や引用を強制したり、設定されたボットブロックをバイパスしたりするものではありません。"テクニカルSEO"の設定でカスタムコンテンツをプレビューまたは切り替えることができます。
いいえ、Googleの一般的な検索クローラーには直接影響しません。Google検索はGooglebotを使用しますが、トレーニングや拡張AIは、Google-Extendedのような別のボットを使用する場合があります。
いいえ。設定は、Kanorioが特定しブロックできるボットをブロックしますが、未知のプログラム、通常のブラウザを装ったプログラム、またはルールに従わないプログラムは、引き続き公開コンテンツにアクセスしようとする可能性があります。
履歴ログは削除されません。設定を適用した後、新しいログを確認して、最新のリクエストがブロックとして表示されていることを確認してください。
