Ahrefs ejecuta nuestro propio rastreador web o bot, conocido como AhrefsBot. Nuestro rastreador visita millones de sitios web todos los días para recuperar información y almacenarla en nuestros registros. En otras palabras, así es como Ahrefs obtiene todos sus datos de todo Internet.
Factores que influyen en el rastreo de las páginas
Prioridad de rastreo: en general, cuanto más "popular" sea un sitio (es decir, cuanto más elevada sea su clasificación del dominio (DR), más dominios de referencia de calidad tendrá), más probable es que se rastree un dominio. Los dominios menos "populares" (es decir, con una DR más baja, dominios de referencia de peor calidad) se rastrearán parcialmente.
Velocidad de rastreo/actualización: depende de la clasificación de la URL (UR) de una página. Las páginas con una UR elevada son más propensas a ser indexadas y se actualizan más a menudo que las páginas con una UR baja.
Cuando nuestros bots no hayan rastreado aún el sitio objetivo, verás el siguiente mensaje al consultar el informe de Page Inspect: no se ha encontrado una instantánea de código HTML para esta página.
Dado que la página objetivo aún no se ha rastreado, los datos que aparecen como el título, el contenido de la página y el código fuente HTML, entre otros, no están disponibles en nuestra base de datos. Del mismo modo, cualquier enlace saliente de esta página tampoco se capturaría.
Si el dominio es nuevo, dale a nuestro rastreador algo de tiempo para registrar el nuevo sitio web (normalmente alrededor de entre una y dos semanas). Lo mismo ocurre con las páginas que se acaban de crear.
Nota: Los informes de backlinks estarán disponibles si rastreamos otros sitios que tienen backlinks al sitio objetivo.
También es posible que el dominio esté bloqueándonos para rastrearlo. Para saber si la configuración del sitio web está bloqueando nuestro rastreador, introduce la URL en la página de nuestro rastreador: https://ahrefs.com/robot
Para solucionar esto, lee este artículo: https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages