跳转到主要内容

如何将Ahrefs用户代理列入Incapsula白名单?

解决Incapsula插件的问题

Helen avatar
作者:Helen
本周更新

如果您在数据探索器中看到您的Site Audit的抓取返回400 HTTP状态码(错误请求),并且资源页面的URL中包含Incapsula,这是由于您网站上的Incapsula插件。

我们的爬虫用户代理被Incapsula防火墙屏蔽,无法访问您的页面内容。

了解如何与您的提供商设置安全例外,以便我们抓取您的网站:

将Ahrefs IP列入白名单

在您的Incapsula控制面板中,导航到:

设置 > 安全 > 白名单特定来源

滚动到页面顶部并点击“保存”

将我们的用户代理列入白名单

请确保您还将我们的用户代理“AhrefsBot”和“AhrefsSiteAudit”列入白名单。 如果您需要更多关于我们的AhrefsBot的信息,请参考此页面:https://ahrefs.com/robot

在您的Incapsula控制面板中,导航到:

设置 > 安全 > 机器人访问控制

点击 “添加例外”,将弹出“机器人访问白名单规则”窗口。

在下拉菜单中选择“用户代理”,并输入“AhrefsBot”和“AhrefsSiteAudit”,然后点击“确认”。

抓取错误通常来自用户的配置,如果在将上述内容加入白名单后仍然遇到抓取网站的问题,请与您的提供商联系。

这是否解答了您的问题?