Nosso Rastreador da Web, chamado AhrefsBot, rastreia seu site fazendo anotações sobre links de saída e os adicionando ao nosso banco de dados. Periodicamente, ele re-rastreará seu site para verificar o status atual dos links encontrados anteriormente.

O rastreador não gera URLs, apenas segue links encontrados na Internet e sempre utiliza GET (o que, de acordo com a especificação HTTP, não deve acionar ações destrutivas no lado do servidor).

Respeitamos estritamente o robos.txt tanto nas regras de permissão quanto nas de não permissão.

Para alterar a frequência com que o AhrefsBot visita seu site, basta especificar a duração mínima aceitável entre duas solicitações consecutivas no arquivo robots.txt:

Agente de usuário: AhrefsBot
​Atraso de rastreamento: [value]

Onde o valor Crawl-Delay é o tempo em segundos.

Se você quiser impedir que o AhrefsBot visite seu site, adicione estas duas linhas ao arquivo robots.txt no seu servidor:

Agente de usuário: AhrefsBot
​Proibir: /

Observe que o AhrefsBot pode precisar de algum tempo para reconhecer as alterações no arquivo robots.txt. Isto é feito antes do próximo rastreio agendado.