Ir al contenido principal
¿Cómo rastrean la web las arañas de SEO?

Descubre cómo los rastreadores o arañas de SEO, rastrean e indexan la web.

May avatar
Escrito por May
Actualizado esta semana

💡 Puedes encontrar directrices completas sobre cómo Ahrefs rastrea e indexa la web en nuestra guía "Cómo usar Ahrefs" en nuestra academia.

En términos más sencillos, un rastreador (o araña) web es un programa informático que navega por la web paso a paso.

Comienza por indexar una lista inicial de URL (llamadas "semillas").

Cuando encuentra todos los hiperenlaces que contienen las semillas, los añade a la lista de URL que indexará a continuación. Una vez añadido, el rastreador visita esas nuevas páginas y repite todo el proceso de nuevo.

Nuestro AhrefsBot rastrea la web estrictamente siguiendo las reglas de robots.txt. Encontrarás más información aquí: https://ahrefs.com/robot

¿Ha quedado contestada tu pregunta?