Ahrefs dirige nuestro propio web crawler, o bot conocido como AhrefsBot. Nuestro crawler visita millones de sitios web todos los días para recuperar información y almacenarlos en nuestros registros. En otras palabras, así es como Ahrefs obtiene todos sus datos de toda la amplia web.
Factores que afectan si/cuando las páginas se rasgan
Prioridad de rastreo: en general, cuanto más "popular" sea un sitio (es decir, una calificación de dominio más alta (DR), tiene más dominios de referencia de calidad), más probable es que un dominio se rastree. Dominios que son menos “populares” (por ejemplo, DR más bajo, tiene menos calidad de dominios de referencia) se rasguñarán parcialmente.
Velocidad de rastrear/actualizar: esto depende de la calificación URL (UR) de una página. Las páginas con un UR alto son más propensas a ser indexadas y se actualizan más a menudo que las páginas con una URL baja.
Cuando nuestros bots tienen aún por rastrear el sitio objetivo, verás el siguiente mensaje al revisar el informe Page inspect : No se ha encontrado una instantánea de código HTML para esta página.
s
Dado que la página de destino aún no ha sido cortada, en la página de datos como el título, Contenido de la página, código fuente HTML, etc no están disponibles en nuestra base de datos. Del mismo modo, cualquier enlace saliente de esta página tampoco sería capturado.
Si el dominio es nuevo, por favor dale a nuestro rastreador algo de tiempo para recoger el nuevo sitio web (1-2 semanas generalmente es una buena apuesta). Lo mismo ocurre con una nueva página que acaba de ser creada.
Nota: Los informes de backlinks estarán disponibles si rastreamos otros sitios que tienen backlinks al sitio objetivo.
También es posible que el dominio esté bloqueándonos para rastrearlo. Para saber si la configuración del sitio web está bloqueando nuestro crawler, introduce la URL en la página de nuestro crawler: https://ahrefs.com/robot
Para solucionar esto, por favor lee este artículo: https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages