如果您在数据探索器中看到您的Site Audit的抓取返回400 HTTP状态码(错误请求),并且资源页面的URL中包含Incapsula,这是由于您网站上的Incapsula插件。
我们的爬虫用户代理被Incapsula防火墙屏蔽,无法访问您的页面内容。
了解如何与您的提供商设置安全例外,以便我们抓取您的网站:
将Ahrefs IP列入白名单
在您的Incapsula控制面板中,导航到:
设置 > 安全 > 白名单特定来源
滚动到页面顶部并点击“保存”
将我们的用户代理列入白名单
请确保您还将我们的用户代理“AhrefsBot”和“AhrefsSiteAudit”列入白名单。 如果您需要更多关于我们的AhrefsBot的信息,请参考此页面:https://ahrefs.com/robot。
在您的Incapsula控制面板中,导航到:
设置 > 安全 > 机器人访问控制
点击 “添加例外”,将弹出“机器人访问白名单规则”窗口。
在下拉菜单中选择“用户代理”,并输入“AhrefsBot”和“AhrefsSiteAudit”,然后点击“确认”。
抓取错误通常来自用户的配置,如果在将上述内容加入白名单后仍然遇到抓取网站的问题,请与您的提供商联系。



