AhrefsBot と名付けられた私たちのウェブクローラーは、アウトバウンドリンクのメモを作成し、データベースに追加します。 それは定期的に以前に見つかったリンクの現在の状態をチェックするためにあなたのウェブサイトを再クロールします。

クローラーはURLを生成しません。 インターネット上で見つかったリンクにのみ従い、常にGETを使用しています(HTTP仕様によると、サーバー側で破壊的なアクションを引き起こすべきではありません)。

AhrefsBotはrobots.txtを厳密に尊重し、両方が禁止し、ルールを許可します。

あなたのサイトを訪れるAhrefsBotの頻度を変更するには ロボットの2つの連続したリクエストの間に許容できる最小遅延時間を指定できます xtファイル:

User-agent: AhrefsBot
​Crawl-Delay: [value]

Crawl-Delay値は秒単位の時間です。

何らかの理由でAhrefsBotがあなたのサイトを訪問するのを防ぐには、サーバー上のrobots.txtファイルに以下の2行を入れてください:

User-agent: AhrefsBot
​Disallow: /

AhrefsBotはrobots.txtファイルの変更を選択するのに時間がかかることがありますのでご注意ください。 これは次のスケジュールされたクロールの前に行われます。