一旦你在 robots.txt 中屏蔽了 AhrefsBot(请参见说明),我们将停止抓取该网站。注意:这不会立即生效,AhrefsBot 需要一些时间读取你的 robots.txt。 您可以预期我们会在网站被屏蔽 6 个月后,开始从索引中删除这些网站。 注意:我们仍将继续收集并显示其他域名指向该网站的链接,因为在 robots.txt 中阻止 AhrefsBot 不会阻止我们从其他网站索引反向链接。相关文章我如何控制您的机器人的抓取行为?Ahrefs 需要多长时间找到我的新反向链接?如何开启 Ahrefs 的机器人来抓取我的网站并索引其页面?为什么 Ahrefs 没有完全抓取或索引我的网站?为什么LinkedIn、Slideshare、Quora和PDF文件的链接不出现在Ahrefs反向链接报告中?