A veces, al revisar tu sitio en la vista general de Site Explorer, puedes ver que la métrica Páginas rastreadas es 0:
Puede haber varias razones por las que no tenemos ninguna página de este sitio web en nuestro índice.
Primero, comprueba el estado de tu archivo robots.txt en nuestro comprobador de robots: https://ahrefs.com/robot
Ahora, analicemos algunas de las razones que podrían impedir que AhrefsBot rastree las páginas de tu sitio y proporcione posibles soluciones.
Las reglas de robots.txt no permiten el rastreo
El sitio web de destino está bloqueando el rastreo de nuestro bot. Elimina estas dos líneas del archivo robots.txt en tu servidor:
Agente de usuario: AhrefsBot
No permitir: /
No se puede acceder al archivo robots.txt (normalmente devuelve el error 404 No se encuentra)
El agente de usuario AhrefsBot obtiene un error 404 al intentar leer el archivo robots.txt de un sitio. El error 404 para robots.txt significa que el rastreo está permitido, pero que todas las páginas también son 404. Por lo tanto, no se puede acceder a los datos relacionados que aparecen como el título, el contenido y su código fuente HTML.
Añade estas dos líneas del archivo robots.txt en tu servidor:
Agente de usuario: AhrefsBot
Permitir: /
Error 403 Prohibido: bloqueo de la IP en la configuración del servidor web
El sitio web de destino está bloqueando el acceso de nuestro rastreador a nivel de servidor. Añade nuestras direcciones IP y el agente de usuario AhrefsBot a la lista blanca de tu servidor web.
Lista de nuestras direcciones IP:
Error 406 No aceptable: bloqueo del complemento de seguridad o del cortafuegos por parte del agente de usuario
Nuestro bot está bloqueado actualmente y no puede acceder a tu sitio web. Esto podría deberse a múltiples razones, como la configuración de tu servidor web, el cortafuegos administrado por tu proveedor de hosting, la protección de tu red de distribución de contenidos, etc. Algunos ejemplos conocidos incluyen: ModSecurity, Sucuri, Cloudflare.
Por nuestra parte, no podemos hacer nada para resolver este problema; tendrás que tomar otras medidas para solucionarlo.
Si no sabes cómo solucionar el problema, ponte en contacto con tu administrador web, empresa de hosting o red de distribución de contenidos para desbloquear nuestro bot. Si su chat de soporte está usando un sistema de gestión de incidencias, utiliza "Soporte técnico" o la categoría que más se asemeje.
No dudes en utilizar la siguiente plantilla:
---------------
Hola,
Ejecuto el dominio <insert url here> y me gustaría solicitar el desbloqueo de AhrefsBot para que pueda rastrear mi dominio. Quiero que se rastree mi sitio y <insert firewall name here>está desabilitando esta funcionalidad actualmente. Aquí obtendrás más información sobre el rastreador AhrefsBot Crawler: https://ahrefs.com/robot
Muchas gracias.
----------------