サイトエクスプローラ の概要でサイトをチェックするときに、 クロールされたページ メトリックが0であることがわかります。
インデックスにこのウェブサイトのページがないのには様々な理由があります。
まず、robots.txtの状態をロボットチェッカーで確認してください： https://ahrefs.com/robot
さて、AhrefsBotがあなたのサイトのページをクロールし、可能な解決策を提供するのを妨げる可能性があるこれらの理由のいくつかを分析しましょう。
Robots.txt ルールはクロールを許可しません
対象のウェブサイトは、ボットのクロールをブロックしています。 サーバー上のrobots.txtファイルから以下の2行を削除してください:
User-agent: AhrefsBot
無効: /
Robots.txt ファイルにアクセスできません。(通常は404 Not Found エラーが返されます)
AhrefsBotのユーザーエージェントは、サイトのrobots.txtを読もうとしたときに404エラーを取得しています。 robots.txtの404はクロールが許可されていることを意味しますが、すべてのページも404です。 したがって、Title、Content、HTML ソースコードなどのページ上の関連データにアクセスできません。
サーバーのrobots.txtファイルに以下の2行を追加してください:
User-agent: AhrefsBot
許可: /
Error 403 Forbidden: Web サーバ設定の IP ブロック
ターゲットウェブサイトはクローラーがサーバーレベルでアクセスできなくなっています。 IPアドレス とユーザーエージェントAhrefsBotをウェブサイトサーバーのホワイトリストに追加してください。
IP アドレスの一覧:
Error 406 Not Acceptable: ユーザーエージェントによるファイアウォール/セキュリティプラグインからのブロック
Botは現在ブロックされており、あなたのウェブサイトにアクセスできません。 これは、次のような複数の理由が原因である可能性があります: あなたのウェブサーバーの構成。 ホスティングプロバイダが管理するファイアウォール、CDNの保護など。 ModSecurity、Sucuri、Cloudflareなどの既知の例があります。
私達が私達の端でこの問題を解決するために私達がすることができるものが何もない; あなたはあなたにこの修正を得るために行動を取る必要がある。
問題を解決する方法がわからない場合は、ウェブマスター、ホスティング会社、またはCDN に連絡して、ボットのブロックを解除してください。 サポートチャットが発券システムを使用している場合は、「Tech Support」または最も近い関連カテゴリを使用してください。
以下のテンプレートを自由にご利用ください：
---------------
Hi,
私はドメイン<insert url here>を運営しており、AhrefsBotが私のドメインをクロールできるようにするための解除をお願いしたいと思います。 それが私のサイトをクロールすることを望んでいますが、この機能は現在<insert firewall name here>によって禁止されています。 AhrefsBot Crawlerの情報はこちら： https://ahrefs.com/robot
ありがとうございました
----------------