有时，我们的机器人：AhrefsBot 可能被Cloudflare 防火墙 阻止，导致无法抓取该网站。
如果您想解除此限制，请按照以下步骤。
使用自定义规则加入白名单
登录 Cloudflare 并选择相应的域名。
前往安全 > 安全规则。
点击 创建规则，然后选择 自定义规则。
为该规则命名，例如“Ahrefs IPs”。
在 当传入请求匹配…… 部分，将字段设置为“IP 源地址”，运算符设置为“属于”：
参考 https://help.ahrefs.com/zh-CN/articles/78658-what-is-the-list-of-your-ip-ranges 中“我们的爬虫使用以下 IP 段：”部分的 IP 段列表
返回 Cloudflare 页面，在表达式预览右侧点击编辑表达式
将 IP 段列表粘贴到花括号
{}中从 https://help.ahrefs.com/zh-CN/articles/78658-what-is-the-list-of-your-ip-ranges 的“以及这些 IP 段之外的以下单个 IP 地址：”部分复制单个 IP 地址列表
返回 Cloudflare 页面，将光标放在
202.8.40.0/22之后、})之前，然后按空格键将剪贴板中的单个地址列表粘贴进去
点击使用表达式生成器，以更直观的方式查看网络段和 IP 地址列表。
在 然后执行操作 部分，将操作设置为“跳过”。
在 要跳过的 WAF 组件 部分，启用：“所有剩余自定义规则、所有速率限制规则、所有托管规则，以及所有超级机器人战斗模式规则”。
你也可以按需保持“记录匹配请求”处于启用状态。
按需设置优先级顺序，然后部署该规则。
你可以参考这张图片来确认规则的设置：
这适用于大多数采用通用配置的网站。 如果这对您无效，请联系 Cloudflare 支持。
如果你的 Cloudflare 使用了机器人管理
在 当传入请求匹配…… 部分：
选择 字段 = “机器人检测”，运算符 = “属于”，值 =
(any(cf.bot_management.detection_ids[*] in {121451232 133933265}) and cf.bot_management.verified_bot)添加字段 = “已验证机器人”，并将其开关打开。
在 然后执行操作 部分：
选择“选择操作”=“跳过”
在 然后执行操作 部分，将操作设置为“跳过”。
在 要跳过的 WAF 组件 部分，启用：“所有剩余自定义规则、所有速率限制规则、所有托管规则，以及所有超级机器人战斗模式规则”。
你也可以按需保持“记录匹配请求”处于启用状态。
按需设置优先级顺序，然后部署该规则。
