Ahrefs gestiona nuestro propio gestor web (conocido como AhrefsBot) que visita millones de sitios web para recuperar información y almacenarlos en nuestros registros. Así es como Ahrefs construye su enorme índice de enlaces.
AhrefsBot respeta estrictamente robots.txt, no permite y permite reglas. Como tal, es posible controlar el comportamiento de AhrefsBot modificando robots.txt.
Por lo que sabemos, sitios como Quora, LinkedIn y Slideshare también:
nos impidió rasgar o
sólo permitió un corte parcial de su sitio.
Esta es la razón principal por la que los enlaces de retroceso de estos sitios (dofollow/nofollow) no se muestran en el informe de enlaces de respaldo de Ahrefs.
En cuanto a los archivos PDF, AhrefsBot no los traza para enlaces, meta-datos, etc.