Ahrefsで新しいプロジェクトを作成する場合 私たちのボットの1つまたは両方(AhrefsBotとAhrefsSiteAudit bot)がターゲットウェブサイトをクロールできないというエラーメッセージが表示されることがあります。
これは、当社が管理できない問題により、お客様のウェブサイトにアクセスできないことを意味します。 ウェブサイトの所有者として、あなたがこれをトラブルシューティングし、私たちにアクセスできるようにするいくつかの方法があります。
これらは一般的な問題です。
1. Robots.txt ルールはクロールを許可しません
このエラーメッセージが下に表示されるか、「Robots.txtルールがクロールを許可しない」と表示された場合、robots.txtがクロールをブロックしている可能性があります。
これを確認するには、ウェブサイトを当社のロボットチェッカーに入力してください:https://ahrefs.com/robot/site-audit
AhrefsSiteAudit または AhrefsBot の robots.txt ファイルに禁止ルールがないことを確認してください
サーバの robots.txt ファイルに次の行を追加することもできます。
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
許可: /
2. IP Blocked/Fetching robots.txt 時間がかかりすぎ/サーバーに接続できませんでした
上記のメッセージ(またはそれらのバリエーション)が表示される場合は、サーバーのホワイトリストにIPアドレスを追加してください。
IPS:
別の考えられる問題は、ホスティングプロバイダが弊社をブロックしていることです。 この場合は、問題を解決するためにそれらにチェックインしてください。
私たちをブロックし、このエラーを引き起こす可能性のあるプラグインを使用しているかどうかを確認する必要があります。 例えば、Incapsulaプラグインは私たちをブロックします。
3. HTTP サーバーはエラー 403を返しました: "Forbidden"
このエラーメッセージは通常、サイトのファイアウォールまたはプラグインによってブロックされていることを意味します。 そして IPs とユーザーエージェント (AhrefsSiteAudit や AhrefsBot) をホワイトリストに登録する必要があります。
4. Error 406 Not Acceptable: Firewall
このエラーメッセージが表示される場合は、次のような理由が原因である可能性があります: あなたのウェブサーバーの構成。 ホスティングプロバイダが管理するファイアウォール、CDNの保護など。
エラーメッセージは、原因についてのヒントを提供するかもしれません。 ModSecurity、Sucuri、Cloudflareなどの既知の例があります。
私たちがこの問題を解決するためにできることは何もありません。 これを修正するには行動を起こす必要があります。
問題を解決する方法がわからない場合は、ウェブマスター、ホスティング会社、またはCDN に連絡して、ボットのブロックを解除してください。 サポートチャットが発券システムを使用している場合は、「Tech Support」または最も近い関連カテゴリを使用してください。
以下のテンプレートを自由にご利用ください：
---------------
Hi,
私はドメイン<insert url here>を運営しており、Ahrefsbotのブロック解除を求めたいと思います。 私は自分のサイトをクロールさせたいので、この機能は現在<insert firewall name here>によって許可されていません。 Ahrefsbotは「悪い」ボットの形質を持っていません。以下を参照してください： https://ahrefs.com/robot
ありがとうございました
----------------
上記の問題が表示されない場合や、追加のガイダンスが必要な場合は、サポートチームまでお問い合わせください。