Nuestro Web Crawler, llamado AhrefsBot corra tu sitio web haciendo notas de enlaces salientes y agregándolos a nuestra base de datos. Periódicamente volverá a rascar su sitio web para comprobar el estado actual de los enlaces previamente encontrados.
El crawler no genera URLs, sólo sigue los enlaces encontrados en Internet y siempre está usando GET (que según las especificaciones HTTP no debería desencadenar ninguna acción destructiva en el lado del servidor).
AhrefsBot respeta estrictamente robots.txt, no permite y permite reglas.
Para cambiar la frecuencia de AhrefsBot visitando su sitio, puedes especificar el retardo mínimo aceptable entre dos solicitudes consecutivas de nuestro bot en tus robots. archivo xt:
User-agent: AhrefsBot
Retraso en el rastreo: [value]
Donde el valor Crawl-Delay es el tiempo en segundos.
Si por alguna razón quieres evitar que AhrefsBot visite tu sitio, pon las dos siguientes líneas en el archivo robots.txt en tu servidor:
User-agent: AhrefsBot
No permitir: /
Tenga en cuenta que AhrefsBot puede necesitar algún tiempo para elegir los cambios en su archivo robots.txt. Esto se hará antes de cada próxima paja programada.