Ahrefs gère notre propre navigateur , ou bot connu sous le nom d'AhrefsBot. Notre explorateur visite quotidiennement des millions de sites Web pour récupérer des informations et les stocker dans nos dossiers. En d'autres termes, c'est ainsi qu'Ahrefs obtient toutes ses données de l'ensemble du web.
Facteurs qui affectent si/quand les pages sont explorées
Priorité Crawl : en général, plus un site est « populaire » (c.-à-d. une note de domaine plus élevée (DR), a plus de domaines de référencement de qualité), plus un domaine sera probablement exploré. Les domaines qui sont moins “populaires” (c’est-à-dire le RD inférieur, a moins de domaines de référencement) seront partiellement explorés.
Vitesse d'exploration/mise à jour: cela dépend de la notation d'URL d'une page (UR). Les pages avec un UR élevé sont plus susceptibles d'être indexées et sont mises à jour plus souvent que les pages avec une URL faible.
Quand nos bots ont encore à explorer le site cible, vous verrez le message suivant lors de la vérification du rapport Page inspecter : aucun instantané de code HTML trouvé pour cette page.
Puisque la page cible n'a pas encore été explorée, les données sur la page comme le titre, Le contenu de la page, le code source HTML etc ne sont pas disponibles dans notre base de données. De même, tout lien sortant de cette page ne serait pas non plus capturé.
Si le domaine est nouveau, veuillez donner à notre robot d'exploration un peu de temps pour prendre en compte le nouveau site web (1 semaine est généralement un bon pari). Il en va de même pour une nouvelle page qui vient d'être créée.
Remarque : Des rapports de Backlinks seront disponibles si nous avons exploré d'autres sites qui ont des rétroliens vers le site cible.
Il est également possible que le domaine soit nous empêchant de le ramper. Pour savoir si les paramètres du site Web bloquent notre explorateur, entrez l'URL dans la page de notre explorateur : https://ahrefs.com/robot
Pour corriger cela, veuillez lire cet article : https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages