Ahrefsは自身のウェブクローラー(またはボット)であるAhrefsBotを運用しています。 私たちのクローラは、情報を取得し、記録にそれらを保存するために毎日何百万ものウェブサイトを訪問します。 つまり、Ahrefsはウェブ全体のすべてのデータをこのように取得しています。
ページがクロールされた際に影響を与える要因
クロール/更新速度: これはページのURL評価 (UR)に依存します。 URLが高いページは、URLが低いページよりも索引付けられる可能性が高く、頻繁に更新されます。
ボットがターゲットサイトをまだクロールしていない場合、ページインスペクトレポートを確認した際に次のメッセージが表示されます: このページのHTMLコードのスナップショットが見つかりませんでした。
ターゲットページがまだクロールされていないため、タイトルなどのページ上のデータがクロールされていません。 ページコンテンツ、HTMLソースコードなどはデータベースでは利用できません。 同様に、このページからの発信リンクもキャプチャされません。
ドメインが新しい場合、クローラーが新しいウェブサイトを見つけるまで時間をいただけると幸いです(通常1~2週間程度が適切です)。 作成されたばかりの新しいページについても同様です。
注意: バックリンクのレポートは、ターゲットサイトにバックリンクがある他のサイトをクロールした場合に利用可能です。
また、ドメインが私たちがクロールするのをブロックしている可能性もあります。 ウェブサイトの設定がクローラーをブロックしているかどうかを確認するには、URLをクローラーのページに入力してください: https://ahrefs.com/robot