Ahrefs gestiona nuestro propio rastreador web (conocido como AhrefsBot) que visita millones de sitios web para recuperar información y almacenarlos en nuestros registros. Así es como Ahrefs construye su enorme índice de enlaces.
AhrefsBot respeta estrictamente robots.txt, tanto las reglas de no permitir (disallow) como las de permitir (allow). Por lo tanto, es posible controlar el comportamiento de AhrefsBot modificando robots.txt.
Por lo que sabemos, sitios como Quora, LinkedIn y Slideshare también:
nos han impedido rastrear, o
solo han permitido el rastreo parcial de su sitio.
Esta es la razón principal por la que los backlinks de estos sitios (dofollow/nofollow) no se muestran en el informe de backlinks de Ahrefs.
AhrefsBot no rastrea los archivos PDF para enlaces, metadatos, etc.