💡 Ahrefsがウェブをクロールしてインデックスする方法に関する完全なガイドは、アカデミーの「Ahrefsの使い方」ガイドで見つけることができます。
簡単に言えば、網のクローラー(またはクモ) は段階ごとに網を閲覧するコンピュータプログラムである。
URL の最初のリスト(いわゆる「シード」)をインデックス化することから始まります。
シードに含まれるすべてのハイパーリンクを見つけると、次にインデックスされる URL のリストに追加されます。 追加されると、クローラーはそれらの新しいページを訪問し、プロセス全体を繰り返します。
私たちのAhrefsBotはrobots.txtからのルールに従って厳密にWebをクロールします。 詳細はこちら： https://ahrefs.com/robot