Ahrefs gère notre propre explorateur web (connu sous le nom d'AhrefsBot) qui visite des millions de sites Web pour récupérer des informations et les stocker dans nos dossiers. Voici comment Ahrefs construit son vaste index de liens.
AhrefsBot respecte strictement robots.txt, à la fois interdire et autoriser les règles. En tant que tel, il est possible de contrôler le comportement d'AhrefsBot en modifiant robots.txt.
Pour autant que nous sachions des sites comme Quora, LinkedIn et Slideshare ont :
nous a empêchés de crawling, ou
seulement permis une exploration partielle de leur site.
C'est la raison principale pour laquelle les backlinks de ces sites (dofollow/nofollow) ne sont pas affichés dans le rapport de backlinks d'Ahrefs.
Quant aux fichiers PDF, AhrefsBot ne les fouille pas pour les liens, les méta-données, et ainsi de suite.