💡 Una guía completa sobre cómo Ahrefs raspa e indexa la web se puede encontrar en nuestra guía "Cómo usar Ahrefs" en nuestra academia.
En términos más sencillos, un raspador (o araña) web es un programa de ordenador que navega por la web paso a paso.
Comienza por indexar una lista inicial de URLs (las llamadas “semillas”).
Cuando encuentra todos los hiperenlaces que contienen las semillas, los agrega a la lista de URLs que indexará a continuación. Una vez añadido, el crawler visita esas nuevas páginas y repite todo el proceso de nuevo.
Nuestro AhrefsBot agarra la web estrictamente siguiendo las reglas de robots.txt. Más detalles aquí: https://ahrefs.com/robot