Cuando creas un nuevo proyecto en Ahrefs, podrías recibir un mensaje de error diciendo que uno o dos de nuestros bots (AhrefsBot y AhrefsSiteAudit bot) no pudieron rascar tu sitio web de destino.

Esto significa que no podemos acceder a su sitio web debido a problemas fuera de nuestro control. Como propietario del sitio web, hay algunas formas de solucionar esto y permitirnos el acceso.

Estas son algunas cuestiones comunes:

Si ves este mensaje de error abajo o uno que dice "Robots.txt rules disallow crawl", tus robots.txt podrían estar bloqueándonos de rascar.

Para comprobarlo, escribe tu sitio web en nuestro checker de robots: https://ahrefs.com/robot/site-audit
​

Por favor, asegúrese de que no tiene una regla de no permitir en su archivo robots.txt para AhrefsSiteAudit o para AhrefsBot

También puede añadir las siguientes líneas al archivo robots.txt en su servidor:

Agente de usuario: AhrefsSiteAudit
Permitir: /

Agente de usuario: AhrefsBot
Permitir: /

Si ves los mensajes anteriores (o variantes), por favor agrega nuestra lista blanca al servidor.

Nuestras IPs:
​https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges

Otro posible problema es que su proveedor de alojamiento nos está bloqueando. En este caso, por favor, compruebe con ellos para resolver el problema.

También deberías comprobar si estás usando algún plugin que pueda estar bloqueándonos y causando este error. Por ejemplo, el plugin Incapsula nos bloquea.

Este mensaje de error generalmente significa que estamos bloqueados por el cortafuegos o plugin de tu sitio; y nuestros Ids y el agente de usuario (AhrefsSiteAudit y/o AhrefsBot) necesitan ser listados allí.

Si ves este mensaje de error, podría deberse a razones como: la configuración de tu servidor web, el cortafuegos administrado por su proveedor de hosting, la protección de su CDN, etc.

El mensaje de error podría proporcionar pistas sobre cuál podría ser la causa. Algunos ejemplos conocidos incluyen: ModSecurity, Sucuri, Cloudflare.

No hay nada que podamos hacer para resolver este problema en nuestro fin. Tendrás que tomar medidas para que esto se arregle en el tuyo.

Si no sabes cómo solucionar el problema, por favor contacta a tu webmaster, compañía de alojamiento o CDN para que nuestro bot sea desbloqueado. Si su chat de soporte está usando un sistema de ticketing, use "Tech Support" o la categoría más cercana.

Por favor, no dude en utilizar la siguiente plantilla:

---------------

Hi,

Ejecuto el dominio <insert url here> y me gustaría solicitar el desbloqueo de Ahrefsbot. Quiero que se rastree mi sitio y esta funcionalidad está actualmente deshabilitada por <insert firewall name here>. Ahrefsbot no tiene ningún rasgo de un bot "malo" - por favor vea: https://ahrefs.com/robot

Muchas gracias.

----------------
​
Si no ves tu problema descrito anteriormente, o solo necesitas alguna guía adicional, ponte en contacto con nuestro equipo de soporte para obtener ayuda.
Mañana