A veces al revisar tu sitio en Site Explorer Resumen, puedes ver que la métrica de las páginas enraizadas es 0:
Puede haber varias razones por las que no tenemos ninguna página de este sitio web en nuestro índice.
Primero, comprueba el estado de tus robots.txt en nuestro checker de robots: https://ahrefs.com/robot
Ahora, analicemos algunas de las razones que podrían impedir que AhrefsBot rasque las páginas de su sitio y proporcione las posibles soluciones.
Las reglas Robots.txt no permiten el raspado
El sitio web de destino está bloqueando a nuestro bot de rasgar. Por favor, elimine las dos siguientes líneas del archivo robots.txt en su servidor:
Agente de usuario: AhrefsBot
No permitido: /
El archivo Robots.txt no es accesible (normalmente devuelve 404 Error No encontrado)
AhrefsBot user-agent está obteniendo un error 404 al intentar leer el robots.txt de un sitio. 404 para robots.txt significa que el raspado está permitido, pero entonces todas las páginas también son 404. Por lo tanto, los datos relacionados en la página como título, contenido y su código fuente HTML no son accesibles.
Por favor, añada las dos siguientes líneas en el archivo robots.txt en su servidor:
Agente de usuario: AhrefsBot
Permitir: /
Error 403 prohibido: bloque IP en la configuración del servidor web
El sitio web de destino está bloqueando que nuestro rastreador acceda a él a nivel de servidor. Por favor, añade nuestra direcciones IP y el agente de usuario AhrefsBot a la lista blanca de tu servidor web.
Una lista de nuestras IPs:
Error 406 no aceptable: bloque por agente de usuario del plugin firewall/security
Nuestro bot está siendo bloqueado actualmente y no puede acceder a tu sitio web. Esto podría deberse a múltiples razones como: la configuración de su servidor web, el cortafuegos administrado por su proveedor de hosting, la protección de su CDN etc. Algunos ejemplos conocidos incluyen: ModSecurity, Sucuri, Cloudflare.
No hay nada que podamos hacer para resolver este problema en nuestro fin; tendrá que tomar medidas para arreglarlo en el suyo.
Si no sabes cómo solucionar el problema, por favor contacta a tu webmaster, compañía de alojamiento o CDN para que nuestro bot sea desbloqueado. Si su chat de soporte está usando un sistema de ticketing, use "Tech Support" o la categoría más cercana.
Por favor, no dude en utilizar la siguiente plantilla:
---------------
Hi,
Ejecuto el dominio <insert url here> y me gustaría solicitar que AhrefsBot sea desbloqueado para rasgar mi dominio. Quiero que se rastree mi sitio y esta funcionalidad está actualmente deshabilitada por <insert firewall name here>. Por favor encuentre información sobre el AhrefsBot Crawler aquí: https://ahrefs.com/robot
Muchas gracias.
----------------