💡 Puedes encontrar directrices completas sobre cómo Ahrefs rastrea e indexa la web en nuestra guía "Cómo usar Ahrefs" en nuestra academia.
En términos más sencillos, un rastreador (o araña) web es un programa informático que navega por la web paso a paso.
Comienza por indexar una lista inicial de URL (llamadas "semillas").
Cuando encuentra todos los hiperenlaces que contienen las semillas, los añade a la lista de URL que indexará a continuación. Una vez añadido, el rastreador visita esas nuevas páginas y repite todo el proceso de nuevo.
Nuestro AhrefsBot rastrea la web estrictamente siguiendo las reglas de robots.txt. Encontrarás más información aquí: https://ahrefs.com/robot