時々、私たちのボット： AhrefsBot は Cloudflare Firewall によってブロックされてウェブサイトがクロールされないことがあります。
この制限を解除したい場合は、以下の手順に従ってください。
カスタムルールを使用してホワイトリストに追加する
Cloudflare にログインし、ドメインを選択します。
［セキュリティ］＞［セキュリティルール］に移動します。
［ルールを作成］をクリックし、続いて［カスタムルール］を選択します。
ルールに名前を付けます（例：「Ahrefs IP」）。
［受信リクエストが次に一致する場合… ］セクションで、「フィールド」を「IP 送信元アドレス」、「演算子」を「次に含まれる」に設定します：
https://help.ahrefs.com/ja/articles/78658-what-is-the-list-of-your-ip-ranges の「当社のクローラーは次の範囲を使用します：」セクションにある範囲リストを参照してください。
Cloudflare のページに戻り、式のプレビューの右側にある［式を編集］を押します。
範囲リストを波括弧
{}の間に貼り付けます。https://help.ahrefs.com/ja/articles/78658-what-is-the-list-of-your-ip-ranges の「また、これらの範囲外にある個別の IP アドレスは次のとおりです：」から、個別の IP アドレスのリストをコピーします。
Cloudflare のページに戻り、
202.8.40.0/22の後、かつ})の前にカーソルを置いて、スペースキーを押します。クリップボードから個別アドレスのリストを貼り付けます。
［式ビルダーを使用］を押すと、ネットワークと IP アドレスの一覧をより見やすい表示で確認できます。
［次にアクションを実行］セクションで、アクションを「スキップ」に設定します。
［スキップする WAF コンポーネント］セクションで、「残りのすべてのカスタムルール、すべてのレート制限ルール、すべてのマネージドルール、すべての Super Bot Fight Mode ルール」を有効にします。
必要に応じて、「一致したリクエストをログに記録」を有効のままにします。
必要に応じて配置順を設定し、ルールをデプロイします。
ルールの設定内容は、この画像で確認できます。
一般的な構成であれば、ほとんどのウェブサイトで動作するはずです。 もし機能しない場合は、 Cloudflare Supportまでお問い合わせください。
Cloudflare でボット管理を使用している場合
［受信リクエストが次に一致する場合…］セクションでは：
「フィールド」=「ボット検出」、「演算子」=「次に含まれる」、「値」=
(any(cf.bot_management.detection_ids[*] in {121451232 133933265}) and cf.bot_management.verified_bot)を選択します。「フィールド」=「検証済みボット」を追加し、オンに切り替えます。
［次にアクションを実行］セクションで：
「アクションを選択」=「スキップ」を選択します。
［次にアクションを実行］セクションで、アクションを「スキップ」に設定します。
［スキップする WAF コンポーネント］セクションで、「残りのすべてのカスタムルール、すべてのレート制限ルール、すべてのマネージドルール、すべての Super Bot Fight Mode ルール」を有効にします。
必要に応じて、「一致したリクエストをログに記録」を有効のままにします。
必要に応じて配置順を設定し、ルールをデプロイします。
