データエクスプローラーでサイト監査のクロールがメインページに対して400 HTTPステータスコード（不正なリクエストエラー）とURLにIncapsulaを含むリソースページを返す場合、これはあなたのウェブサイトのIncapsulaプラグインが原因です。

当社のクローラユーザーエージェントは、Incapsulaファイアウォールによってブロックされているため、お客様のページのコンテンツにアクセスできません。

弊社がウェブサイトをクロールするために、プロバイダとセキュリティ例外を設定する方法をご覧ください。

ホワイトリスト Ahrefs IP

Incapsulaコントロールパネルで、

設定 > セキュリティ > ホワイトリスト固有ソース

ページの上部までスクロールして「保存」をクリックします

ユーザーエージェントをホワイトリストに入れる

ユーザーエージェント ‘AhrefsBot’ および ‘AhrefsSiteAudit’ もホワイトリストに登録されていることを確認してください。 AhrefsBotの詳細情報が必要な場合は、こちらのページを参照してください: https://ahrefs.com/robot.

Incapsulaコントロールパネルで、以下に移動します:

設定 > セキュリティ > Bot Access Control

「例外を追加」をクリックすると、ボットアクセスのホワイトリストルールが表示されます。

ドロップダウンメニューの下で「ユーザーエージェント」を選択し、「AhrefsBot」と「AhrefsSiteAudit」のキーを選択し、「確認」をクリックします。

クロールエラーは、通常、ユーザーの設定から来ており、上記のホワイトリストをホワイトリストに登録した後でもウェブサイトをクロールする問題に直面している場合。プロバイダーに確認してください。