Cuando creas un nuevo proyecto en Ahrefs, podrías recibir un mensaje de error que indica que uno o dos de nuestros bots (AhrefsBot y bot AhrefsSiteAudit) no pudieron rastrear tu sitio web objetivo.
Esto significa que no podemos acceder a su sitio web debido a problemas fuera de nuestro control. Como propietario del sitio web, existen algunas formas de solucionar esto y permitirnos el acceso.
Estos son algunos problemas comunes:
1. Las reglas de robots.txt no permiten el rastreo
Si ves el siguiente mensaje de error o uno que dice "Las reglas de robots.txt no permiten el rastreo", tu archivo robots.txt podría estar bloqueando el rastreo.
Para comprobarlo, introduce tu sitio web en nuestro comprobador de robots: https://ahrefs.com/robot/site-audit
Asegúrate de que no tienes una regla de no permitir (disallow) en tu archivo robots.txt para AhrefsSiteAudit o AhrefsBot
También puedes añadir las siguientes líneas al archivo robots.txt en tu servidor:
Agente de usuario: AhrefsSiteAudit
Permitir: /
Agente de usuario: AhrefsBot
Permitir: /
2. IP bloqueada/La recuperación de robots.txt tardó demasiado/Error al conectarse al servidor
Si ves los mensajes anteriores (o alguna variante), añade nuestras IP a lista blanca del servidor.
Otro posible problema es que tu proveedor de hosting nos esté bloqueando. En este caso, habla con él para resolver el problema.
También deberías comprobar si estás usando algún plugin que pueda estar bloqueándonos y causando este error. Por ejemplo, el plugin de Incapsula nos bloquea.
3. El servidor HTTP devolvió el error 403: "Prohibido"
Este mensaje de error normalmente indica que nos está bloqueando el cortafuegos o plugin de tu sitio, y es necesario que incluyas en la lista blanca nuestras IP y el agente de usuario (AhrefsSiteAudit o AhrefsBot).
4. Error 406 No aceptable: cortafuegos
Si ves este mensaje, podría deberse a diversas razones, como la configuración de tu servidor web, el cortafuegos administrado por tu proveedor de hosting, la protección de tu red de distribución de contenidos, etc.
El mensaje de error podría proporcionar pistas sobre cuál podría ser la causa. Algunos ejemplos conocidos incluyen: ModSecurity, Sucuri, Cloudflare.
Por nuestra parte, no podemos hacer nada para resolver este problema. Tendrás que tomar medidas por tu cuenta para solucionarlo.
Si no sabes cómo solucionar el problema, ponte en contacto con tu administrador web, empresa de hosting o red de distribución de contenidos para desbloquear nuestro bot. Si su chat de soporte está usando un sistema de gestión de incidencias, utiliza "Soporte técnico" o la categoría que más se asemeje.
No dudes en utilizar la siguiente plantilla:
---------------
Hola,
Ejecuto el dominio <insert url here> y me gustaría solicitar el desbloqueo de AhrefsBot. Quiero que se rastree mi sitio y <insert firewall name here> está deshabilitando esta funcionalidad actualmente. AhrefsBot no tiene ningún rasgo de bot "malo". Consulta: https://ahrefs.com/robot
Muchas gracias.
----------------
Si tu problema no aparece descrito anteriormente, o solo necesitas directrices adicionales, ponte en contacto con nuestro equipo de soporte para obtener ayuda.