当你在Ahrefs创建一个新项目时，你可能会收到错误信息，指出我们的一台或两台机器人（AhrefsBot和AhrefsSiteAudit bot）无法抓取您的目标网站。
这意味着我们无法访问您的网站因为一些不可控的问题。 作为网站所有者，您可以采取一些措施来排查问题并允许我们的访问。
以下是一些常见问题：
1。 Robots.txt 规则不允许抓取
如果您看到下面的错误信息或“Robots.txt 规则不允许抓取”这样的信息，您的robots.txt可能正阻止我们抓取。
要检查这一点，请在我们的机器人检查器中输入您的网站：https://ahrefs.com/robot/site-audit
请确保您的robots.txt文件中没有针对AhrefsSiteAudit或AhrefsBot的禁止规则
您还可以在服务器上的robots.txt文件中添加以下几行：
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Allow: /
2。 IP被阻止/获取robots.txt耗时过长/无法连接到服务器
如果您看到上述消息（或类似消息），请将我们的IP添加到服务器的白名单中。
另一个可能的问题是您的托管服务提供商正在阻止我们。 在这种情况下，请和他们联系以解决问题。
您还应该检查是否使用了任何可能阻止我们的插件并导致此错误。 例如，Incapsula插件会阻止我们。
3。 HTTP 服务器返回错误 403: “禁止”
这个错误信息通常表示我们的IP或用户代理（AhrefsSiteAudit和/或AhrefsBot）已被您网站的防火墙或插件阻止，我们的IP需要在此加入白名单。
4. 错误 406 不可接受：防火墙
如果您看到此错误信息，可能是由于您的网络服务器的配置、托管服务提供商管理的防火墙、您的CDN保护等原因造成的。
错误信息可能会提供有关原因的提示。 一些已知示例包括：ModSecurity、Sucuri、Cloudflare。
我们无法在我们这边解决这个问题。 您需要自行采取行动来解决此问题。
如果您不知道如何解决这个问题，请联系您的 Webmaster、托管公司或 CDN 以取消对我们机器人的封锁。 如果他们的支持聊天使用票务系统，请选择“技术支持”或最相近的类别。
您可以使用以下模板：
---------------
您好，
我管理的域名是<在此处插入网址>，我请求解封Ahrefsbot。 我想让它抓取我的网站，而这个功能目前被<在此处插入防火墙名称>禁止；。 Ahrefsbot没有任何“坏”机器人的特征 – 请参见：https://ahrefs.com/robot
非常感谢。
----------------
如果您没有在上面看到您的问题，或只是需要一些额外的指导，请联系我们的支持团队寻求帮助。