AIクローラーの訪問ログ
概要
AIクローラーは、AIサービスや検索サービスによって派遣される自動プログラムです。公開されているウェブサイトのコンテンツを読み取り、モデルのトレーニング、ユーザーの質問への回答、AI検索結果の構築、または一般的な検索インデックスの作成に使用される場合があります。
「アナリティクス」の「AIクローラー」タブでは、どの既知のAIクローラーが公開ウェブサイトにアクセスしたか、およびそれらが許可されたかブロックされたかを確認できます。この記事ではログの読み方のみを説明します。サイトへのクローラーのアクセスを変更したい場合は、「ウェブサイトへのAIクローラーアクセス管理」をお読みください。
表示場所
通常の人間訪問者はこのタブには表示されません。AIクローラーは、典型的なウェブサイトのフロントエンドJavaScriptトラッキングを実行しないため、サーバーサイドログとして個別にカウントされます。
3つのクローラーの目的を理解する
- トレーニング: 公開コンテンツからAIモデルが学習するのを助けるために使用される場合があります。
- 検索: ユーザーが質問した際に、公開コンテンツを見つけて引用するために使用される場合があります。
- インデックス作成: Googlebotのような一般的な検索エンジンのために使用されるクローラー。
目的の分類は、既知のクローラーに関する公開情報に基づいており、すべての訪問に対して最終的な使用を正確に決定できることを示すものではありません。
検証ステータスを理解する
検証済み
システムは、ソースIPアドレスと運用主体によって公開されているネットワーク範囲を比較し、そのリクエストが公式クローラーからのものであることを信頼性をもって確認します。
なりすましの疑い
リクエストの名前は既知のAIクローラーのようですが、ソースIPアドレスが公式範囲と一致しません。これは、第三者が名前を偽装している可能性があります。公式AIサービスからの正当な訪問とはみなさないでください。
検証不可
一部のサービスでは比較のための公開IP情報が不足しているか、現在のリクエストで検証を完了できませんでした。検証不可は悪意があることを意味するのではなく、システムがその認証を確認できないことを意味します。
許可とブロック
ログの「許可」は、リクエストが公開ウェブサイトへのアクセスを継続することを許可されたことを意味します。「ブロック」は、「MarTech → AIクローラー」のブロックルールに一致し、公開ウェブサイトがアクセス拒否の応答を返したことを意味します。
ブロックされたログも依然として価値があります。ルールが機能していること、およびどのクローラーが継続的にアクセスを試みているかを確認できます。
ページ詳細の使用方法
ページ詳細は、クローラーが遭遇したURLのリストです。重要なページが既知のクローラーによって読み取られていない場合でも、必ずしも検索結果に表示されないという意味ではありません。クロール頻度は各サービスによって決定され、特に新しく公開されたウェブサイトやコンテンツが少ないウェブサイトでは時間がかかります。
よくある質問
必ずしもそうではありません。訪問は、クローラーが公開ウェブサイトを読み取ったことを意味するだけです。それがトレーニング、インデックス作成、引用、または回答での提示に使用されるかどうかは、各サービス次第です。
必ずしもそうではありません。新しく公開されたウェブサイト、トラフィックが少ない、スケジュールされていないクローラーの訪問、またはクローラーが現在の認識リストにない場合など、レポートに一時的にデータが表示されないことがあります。
まず、リクエストが異常なトラフィックを引き起こしていないか確認してください。記録が数件しかない場合は、通常、すぐに行動する必要はありません。永続的な異常に気づいた場合は、日付、スクリーンショット、URLを保存し、カスタマーサポートに連絡してください。