Às vezes, ao verificar seu site no Site Explorer Visão geral, você pode ver que a métrica de Páginas rastreadas é 0:

Podem existir várias razões pelas quais não temos nenhuma página deste site em nosso índice.

Primeiro, verifique o status do seu robots.txt no nosso verificador de robots: https://ahrefs.com/robot

Agora, vamos analisar algumas dessas razões que podem impedir que o AhrefsBot rastreie as páginas do seu site e fornecer as possíveis soluções.

O site alvo está bloqueando nosso bot para o rastreamento. Por favor, remova as duas linhas a seguir do arquivo robots.txt no seu servidor:

User-agent: AhrefsBot
Disallow: /

O user-agent do AhrefsBot está recebendo erro 404 ao tentar ler o robots.txt do site. 404 para robots.txt significa que o rastreamento é permitido, mas então todas as páginas também são 404. Assim, dados relacionados à página, como Título, Conteúdo e seu código HTML fonte não são acessíveis.

Por favor, adicione as duas linhas a seguir no arquivo robots.txt no seu servidor:

User-agent: AhrefsBot
Allow: /

O site alvo está bloqueando nosso rastreador para acessá-lo a nível de servidor. Por favor, adicione nossos endereços IP e o User Agent AhrefsBot à lista branca do servidor do seu site.

Uma lista dos nossos IPs:

Nosso bot está atualmente sendo bloqueado e não pode acessar seu site. Isso pode ser devido a várias razões, como: a configuração do seu servidor web, o firewall gerenciado pelo seu provedor de hospedagem, a proteção do seu CDN, etc. Alguns exemplos conhecidos incluem: ModSecurity, Sucuri, Cloudflare.

Não há nada que possamos fazer para resolver este problema do nosso lado; você precisará agir para corrigi-lo do seu.

Se você não sabe como resolver o problema, por favor contate seu webmaster, empresa de hospedagem ou CDN para desbloquear nosso bot. Se o chat de suporte deles estiver utilizando um sistema de tickets, use "Suporte Técnico" ou a categoria mais próxima relacionada.

Por favor, sinta-se à vontade para usar o seguinte modelo:

---------------

Olá,

Eu gerencio o domínio <insira o url aqui> e gostaria de solicitar que o AhrefsBot seja desbloqueado para rastrear meu domínio. Eu quero que ele rastreie meu site e essa funcionalidade está atualmente desabilitada por <insira o nome do firewall aqui>. Por favor, encontre informações sobre o Rastreador AhrefsBot aqui: https://ahrefs.com/robot

Muito obrigado.

----------------