Ahrefs executa nosso próprio rastreador da web, ou bot, conhecido como AhrefsBot. Nosso rastreador visita milhões de sites diariamente para recuperar informações e armazená-las em nosso banco de dados. Em outras palavras, é assim que o Ahrefs obtém todos os seus dados da vasta web.
Fatores que afetam se/quando as páginas são rastreadas
Prioridade do rastreamento: em geral, quanto mais “popular” é um site (ou seja, uma Classificação de Domínio (DRDR) mais alta, tem mais domínios de referência de qualidade), maior a probabilidade de o domínio ser rastreado. Domínios que são menos “populares” (ou seja, DR mais baixo, tem menos domínios de referência de qualidade) serão parcialmente rastreados.
Velocidade de rastreamento/atualização: isso depende da Classificação de URL (UR) de uma página. Páginas com UR alto são mais propensas a serem indexadas e são atualizadas com mais frequência do que páginas com UR baixo.
Quando nossos bots ainda não rastrearam o site alvo, você verá a seguinte mensagem ao verificar o relatório de Inspeção de Página: Nenhum instantâneo de código HTML encontrado para esta página.
Como a página alvo ainda não foi rastreada, dados da página como Título, Conteúdo da página, Código-fonte HTML etc. não estão disponíveis em nosso banco de dados. Da mesma forma, quaisquer links de saída desta página também não seriam capturados.
Se o domínio for novo, por favor, dê algum tempo para nosso rastreador captar o novo site (1-2 semanas geralmente é uma boa aposta). O mesmo vale para uma nova página que acabou de ser criada.
Nota: os relatórios de backlinks estarão disponíveis se rastreamos outros sites que têm backlinks para o site alvo.
É possível também que o domínio esteja nos bloqueando de rastreá-lo. Para descobrir se as configurações do site estão bloqueando nosso rastreador, insira a URL na página de nosso rastreador: https://ahrefs.com/robot
Para corrigir isso, por favor, leia este artigo: https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages