Ao criar um novo projeto no Ahrefs, você pode receber uma mensagem de erro dizendo que um ou ambos os nossos bots (AhrefsBot e AhrefsSiteAudit bot) não conseguiram rastrear o seu site-alvo.

Isso significa que não conseguimos acessar o seu site devido a problemas fora do nosso controle. Como proprietário do site, há algumas maneiras de resolver isso e nos permitir o acesso.

Estes são alguns problemas comuns:

Se você ver a mensagem de erro abaixo ou uma que diz "Regras no robots.txt impedem rastreamento", seu robots.txt pode estar nos bloqueando de rastrear.

Para verificar isso, digite seu site no nosso verificador de robots: https://ahrefs.com/robot/site-audit
​

Por favor, certifique-se de que você não tem uma regra de disallow no seu arquivo robots.txt para AhrefsSiteAudit ou para AhrefsBot

Você também pode adicionar as seguintes linhas no arquivo robots.txt no seu servidor:

User-agent: AhrefsSiteAudit
Allow: /

User-agent: AhrefsBot
Allow: /

Se você ver as mensagens acima (ou variações delas), por favor, adicione nossos IPs à whitelist do servidor.

Nossos IPs:
​https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges

Outro possível problema é que o seu provedor de hospedagem está nos bloqueando. Nesse caso, por favor, verifique com eles para resolver o problema.

Você também deve verificar se está usando algum plugin que possa estar nos bloqueando e causando este erro. Por exemplo, o plugin Incapsula nos bloqueia.

Essa mensagem de erro geralmente significa que estamos sendo bloqueados pelo firewall ou plugin do seu site; e nossos IP e agente de usuário (AhrefsSiteAudit e/ou AhrefsBot) precisam ser colocados na whitelist.

Se você ver esta mensagem de erro, pode ser devido a razões como: a configuração do seu servidor web, o firewall gerenciado pelo seu provedor de hospedagem, a proteção do seu CDN, etc.

A mensagem de erro pode fornecer pistas sobre qual pode ser a causa. Alguns exemplos conhecidos incluem: ModSecurity, Sucuri, Cloudflare.

Não há nada que possamos fazer para resolver esse problema do nosso lado. Você precisará tomar medidas para resolver isso do seu lado.

Se você não souber como resolver o problema, por favor, entre em contato com seu webmaster, empresa de hospedagem ou CDN para desbloquear o nosso bot. Se o suporte deles estiver usando um sistema de tíquetes, use "Suporte Técnico" ou a categoria mais próxima relacionada.

Sinta-se à vontade para usar o seguinte modelo:

---------------

Olá,

Eu gerencio o domínio <insert url here> e gostaria de solicitar o desbloqueio do Ahrefsbot. Eu quero que ele rastreie meu site e essa funcionalidade está atualmente bloqueada pelo <insert firewall name here>. O Ahrefsbot não tem características de um "bot ruim" – por favor, veja: https://ahrefs.com/robot

Muito obrigado.

----------------
​
Se você não viu seu problema descrito acima, ou só precisa de alguma orientação extra, por favor, entre em contato com nossa equipe de suporte para ajuda.
​