メインコンテンツにスキップ

Bot Analyticsについて

AhrefsのBot Analyticsでできることと、ウェブサイトへの設定方法をご確認ください

対応者:Constance Tan

Bot Analyticsとは?

Bot Analyticsを使うと、どのボットがあなたのWebサイトにアクセスしているのか、アクセス頻度はどれくらいか、どのページをクロールしているのかを監視できます。 AIアシスタント、検索エンジン、SEOツールなど、12のカテゴリにわたってボットを追跡します。 Bot Analyticsはベータ期間中は無料です。

仕組みや設定方法の詳細については、技術ドキュメントをこちらでご確認ください。

なぜボットトラフィックを監視するのか?

ウェブサイトに到達するトラフィックのかなりの割合はボットによるもので、Cloudflreはクローラーによるトラフィックの53%は無駄な労力だと推定しています。

ウェブサイトのボットトラフィックを監視すると、次のことに役立ちます。

  • 不正なボットを管理し、ウェブサイトを安定して稼働させるために、適切なレート制限ルールを設定する

  • AIクローラー(ChatGPTやPerplexityなど)のうち、AI生成の回答で引用する前にコンテンツを収集する目的でどれがサイトに訪れているのかを把握する

レポートでボットトラフィックデータを表示する

Bot Analyticsには4つのレポートがあり、それぞれがボットトラフィックを異なる視点で表示します。

  • 概要: サイト全体のすべてのボット活動を俯瞰できる上位レベルのサマリー

  • ボット: 個々のボット(例: Googlebot、GPTBot、ClaudeBot)別に分解したトラフィック

  • カテゴリ: 検索エンジン、AIクローラー、SEOツールなど、ボットの種類別にグループ化したトラフィック

  • ページ:訪問数が多い順、ステータスコード別、または各ページにアクセスしたボット別にページを表示・並べ替えできます。

  • クロールされたページ: ボットが訪問したサイト内の特定ページ

  • まず、Ahrefs でプロジェクトを開き、プロジェクト設定 → Bot Analytics に移動します。

各レポートには、分析に合わせて設定できる折れ線グラフが含まれています。

絶対(生のリクエスト数)表示と相対(割合)表示を切り替えられます。後者のオプションを使うと、ページ同士やボット同士を直接比較しやすくなります。

時間の粒度を時間別・日別・週別・月別に設定し、カスタム日付ピッカーを使って異なる期間を比較できます。

レポートでのフィルタリング

ボット名、カテゴリ、ページURL、またはクリックなどの指標でデータをフィルタリングできます。複数のフィルターを重ねて適用し、必要なレポートを絞り込めます。

また、「AI bots」ボタンを使えば、すべてをAIボットのトラフィックのみに即時フィルタリングできます。この便利な機能により、AIボットがどのようにサイトをクロールしているか、またどのページに最も多く訪れているかを素早く確認できます。

ボットトラフィックデータのエクスポート

ボットトラフィックデータを.csvで、またはGoogleスプレッドシートとしてエクスポートできます。

ページのコンテンツを確認するには?

ページが一覧表示される任意のレポートで、ページURLの横にある虫眼鏡アイコンにカーソルを合わせるとPage Inspectが開き、そのページのコンテンツを表示できます。また、そのページが時間の経過とともにどのように変化したかも確認でき、ボットがクロールした際に実際に何を見ているのかをチェックするのに便利です。

Page InspectのデータはAhrefsBotから取得されます。

Bot Analytics の設定方法を教えてください。

ボット解析では、人間以外のトラフィックログをさまざまな方法で監視できます。対応している CDN サービスは以下をご覧ください。

Cloudflare

方法 1:Cloudflare Logpush

Cloudflare Logpush は、サイトの HTTP リクエストログを Ahrefs に自動的に送信します。高トラフィックのサイトでは、こちらのほうが効率的です。この方法には Cloudflare エンタープライズプランが必要です。

方法 2:Cloudflare Worker

Cloudflare Worker は、各リクエストで小さなスクリプトを実行し、データを Ahrefs に送信します。この方法は、無料プランを含むすべての Cloudflare プランで利用できます。

Vercel

Vercel チームをAhrefsのワークスペースに接続し、その後プロジェクトでボット解析を有効にします。 Ahrefsはドメインでプロジェクトを照合し、Log Drain を自動的に作成します。
​
→ セットアップガイド
→ Vercel Marketplace の Ahrefs

Amazon CloudFront

Amazon Data Firehose ストリームを通じて、スタンダードアクセスログをAhrefsに転送します。

Fastly

Fastly のリアルタイムログストリーミングを使用して、HTTPS ロギングエンドポイント経由でリクエストログを Ahrefs に送信します。

Bot Analyticsはベータ期間中は無料です。

場合によっては、サイトにアクセスしてくるボットが、実際とは異なる名称/ユーザーエージェントを名乗ることがあります(例:Googlebot を装っているが、実際には Google からのアクセスではないボット)。ボット解析はボットを検証し、失敗したものにフラグを付けます。
​
各ボットは、以下の2つの独立した情報源を使って検証されます。

  • 既知のボットのIPレンジ:公開エンドポイント(Google、Bing、Anthropic など)から取得します。訪問者のIPが、名乗っているボットのものであるかを確認します。

  • Cloudflare 検証済みボット:IPレンジが不明なボットに対するフォールバックです。

ボット解析では、検証済みボットの既知リストに含まれるボットを名乗っているにもかかわらず、両方のチェックに失敗した訪問者を「偽装」としてフラグ付けします。偽装ボットは、たとえば「Googlebot (spoofed)」のように、名乗っている名前の末尾に「(spoofed)」が付いた状態で保持され、新しい偽装ボットカテゴリに移動します。

そのカテゴリでフィルタリングして、偽装トラフィックを除外したり、偽装ボットのみを表示したりできます。
​

注:ボット解析がボットの真偽を検証できるのは、対応している2つの検証ソース(既知のボットのIPレンジ、Cloudflare 検証済みボット)のうち、少なくともいずれか1つが利用できる場合に限られます。本物か偽物かを判別できないボットについては、ボット解析上では名乗っている名前がそのまま保持され、「偽装」としてマークされません。

IPレンジや検証方法を追加していくことで、検証済みボットのカバレッジは拡大していきます。

ボットのカテゴリとは何ですか?

Bot Analytics は、検出されたすべてのボットを以下の 12 カテゴリに分類します。

カテゴリ

説明

モニタリング

ウェブサイトがオンラインで、正しく稼働しているかを確認するボット(例:アップタイム監視)

AI アシスタント

ChatGPT や Perplexity などの AI プラットフォームから、回答を生成するためにコンテンツをクロールするボット

AI 検索

AI 駆動の検索エンジンを支えるクローラー

AI クローラー

AI モデルの学習や AI データセットの構築のために、ウェブコンテンツを収集するボット

検索エンジン

ページをインデックスする、Google、Bing などの検索エンジンのクローラー

SEO ツール

Ahrefs などの SEO プラットフォームから、サイトを分析するボット

ソーシャルメディア

FacebookやTwitter/Xなどのプラットフォームからリンクプレビューを取得するボット

サービスエージェント

サービスやプラットフォームに代わって自動化されたタスクを実行するボット

セキュリティ

脆弱性やマルウェアをスキャンするボット

フィードフェッチャー

コンテンツを配信するためにRSSまたはAtomフィードを取得するボット

広告

広告ネットワークからの、掲載枠の検証とクリック詐欺の検出を行うボット

その他

上記のカテゴリのいずれにも当てはまらないボット

こちらの回答で解決しましたか?