我们的网页爬虫名为AhrefsBot，会抓取您的网站以记录出站链接并将其添加到我们的数据库中。 它会定期重新抓取您的网站，以检查之前找到的链接的当前状态。
该爬虫不会生成 URL，它只跟随互联网上找到的链接，并始终使用 GET（根据 HTTP 规范，这不应在服务器端触发任何破坏性操作）。
AhrefsBot严格遵守robots.txt中的禁止和允许规则。
要更改AhrefsBot访问您网站的频率，您可以在robots.txt文件中指定我们机器人两次连续请求的最小可接受延迟：
User-agent: AhrefsBot
抓取延迟: [值]
其中抓取延迟值为秒数。
如果由于某些原因您想阻止 AhrefsBot 访问您的网站，请将以下两行放入服务器上的 robots.txt 文件中：
User-agent: AhrefsBot
Disallow: /
请注意，AhrefsBot可能需要一些时间来读取您robots.txt文件中的更改。 这将在每次下次计划的抓取之前完成。