💡 Um guia completo sobre como o Ahrefs rastreia e indexa a web pode ser encontrado no nosso guia "Como usar o Ahrefs" na nossa academia.
Em termos mais simples, um rastreador web (ou spider) é um programa de computador que navega na web de forma passo a passo.
Ele começa indexando uma lista inicial de URLs (os chamados "seeds").
Quando encontra todos os hyperlinks que as seeds contêm, ele os adiciona à lista de URLs que irá indexar a seguir. Uma vez adicionados, o rastreador visita essas novas páginas e repete todo o processo novamente.
Nosso AhrefsBot rastreia a web seguindo estritamente as regras do robots.txt. Mais detalhes aqui: https://ahrefs.com/robot