Ahrefsは情報を取得し、記録にそれらを保存するために何百万ものウェブサイトを訪問する私たち自身のウェブクローラー(AhrefsBotとして知られています)を実行します。 これはAhrefsが 巨大リンクインデックスを構築する方法です。
AhrefsBot はrobots.txtを厳しく尊重し、両方ともルールを許可します。 そのため、robots.txtを変更することでAhrefsBotの動作を制御することができます。
私たちの知る限りでは、Quora、LinkedIn、Slideshareのようなサイトもあります。
クロールを防ぐか、
サイトの部分的なクロールのみを許可しました。
これが、これらのサイトからのバックリンク(dofollow/noofollow)がAhrefsのバックリンクレポートに表示されない主な理由です。
PDFファイルについては、AhrefsBotはリンクやメタデータなどのためにクロールしません。