Nosso Rastreador da Web, chamado AhrefsBot, rastreia seu site fazendo anotações sobre links de saída e os adicionando ao nosso banco de dados. Periodicamente, ele re-rastreará seu site para verificar o status atual dos links encontrados anteriormente.
O rastreador não gera URLs, apenas segue links encontrados na Internet e sempre utiliza GET (o que, de acordo com a especificação HTTP, não deve acionar ações destrutivas no lado do servidor).
Respeitamos estritamente o robos.txt tanto nas regras de permissão quanto nas de não permissão.
Para alterar a frequência com que o AhrefsBot visita seu site, basta especificar a duração mínima aceitável entre duas solicitações consecutivas no arquivo robots.txt:
Agente de usuário: AhrefsBot
Atraso de rastreamento: [value]
Onde o valor Crawl-Delay é o tempo em segundos.
Se você quiser impedir que o AhrefsBot visite seu site, adicione estas duas linhas ao arquivo robots.txt no seu servidor:
Agente de usuário: AhrefsBot
Proibir: /
Observe que o AhrefsBot pode precisar de algum tempo para reconhecer as alterações no arquivo robots.txt. Isto é feito antes do próximo rastreio agendado.