Nuestro rastreador web, llamado AhrefsBot rastrea tu sitio web tomando nota de los enlaces salientes y añadiéndolos a nuestra base de datos. Periódicamente volverás a rastrear tu sitio web para comprobar el estado actual de los enlaces previamente encontrados.

El rastreador no genera URL, solo sigue los enlaces encontrados en Internet y siempre utiliza GET (que según las especificaciones HTTP no debería desencadenar ninguna acción destructiva en el servidor).

AhrefsBot respeta estrictamente robots.txt, tanto las reglas de no permitir (disallow) como las de permitir (allow).

Para cambiar la frecuencia de visita de AhrefsBot a tu sitio, puedes especificar el retraso mínimo aceptable entre dos solicitudes consecutivas de nuestro bot en tu archivo robots.txt:

Agente de usuario: AhrefsBot
​Retraso de rastreo: [valor]

Donde el valor del retraso de rastreo representa tiempo en segundos.

Si por alguna razón quieres evitar que AhrefsBot visite tu sitio, añade estas dos líneas al archivo robots.txt de tu servidor:

Agente de usuario: AhrefsBot
​No permitir: /

Ten en cuenta que es posible que AhrefsBot necesite tiempo para incorporar los cambios de tu archivo robots.txt. Esto se hará antes de cada próximo rastreo programado.