Ahrefs运行我们自己的爬虫，或称为bot，即AhrefsBot。 我们的爬虫每天访问数百万个网站以获取信息并将其存储在我们的记录中。 换句话说，这就是Ahrefs如何获取全网的所有数据的方法。
影响页面是否/何时被抓取的因素
抓取优先级： 通常，网站越“受欢迎”（即拥有更高的 域名评分 (DR)，拥有更多高质量的引用域名），域名被抓取的可能性就越大。 而那些不太“受欢迎”的域名（即较低的DR，引用域名质量较差）将被部分抓取。
抓取/更新速度：这取决于页面的URL 评分 (UR)。 具有高UR的页面更有可能被索引，并且比低UR的页面更经常更新。
当我们的bots尚未爬取目标网站时，检查页面检查报告时，您将看到以下消息：未找到此页面的HTML代码快照。
由于目标页面尚未被抓取，因此页面标题、内容、HTML源代码等页面数据在我们的数据库中不可用。 同样，来自该页面的任何出站链接也不会被捕获。
如果域名是新的，请给我们的爬虫一些时间来发现新的网站（1-2周通常是个不错的选择）。 对于刚刚创建的新页面也是如此。
注意：如果我们抓取了其他具有到目标站点反向链接的网站，则反向链接报告将可用。
也有可能是该域正在阻止我们抓取它。 要确定该网站的设置是否阻止我们的爬虫，请将网址输入我们的爬虫页面：https://ahrefs.com/robot
要修复此问题，请阅读本文章：https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages