Parfois, lorsque vous vérifiez votre site dans Aperçu de l'explorateur de site , vous pouvez voir que la métrique pages est 0 :
Il peut y avoir diverses raisons pour lesquelles nous n'avons aucune page de ce site dans notre index.
Tout d'abord, vérifiez l'état de votre robots.txt dans notre vérificateur de robots : https://ahrefs.com/robot
Maintenant, analysons quelques-unes de ces raisons qui pourraient empêcher AhrefsBot d'explorer les pages de votre site et de fournir les solutions possibles.
Les règles Robots.txt n'autorisent pas les crawl
Le site web cible empêche notre bot d'explorer. Veuillez supprimer les deux lignes suivantes du fichier robots.txt sur votre serveur:
Agent utilisateur : AhrefsBot
Refusé: /
Le fichier Robots.txt n'est pas accessible (retourne généralement une erreur 404 non trouvée)
AhrefsBot user-agent obtient 404 erreur en essayant de lire le robots.txt d'un site. 404 pour robots.txt signifie que le crawl est autorisé, mais alors toutes les pages sont aussi 404. Ainsi, les données liées à la page telles que le titre, le contenu et son code source HTML ne sont pas accessibles.
Veuillez ajouter les deux lignes suivantes dans le fichier robots.txt sur votre serveur:
Agent utilisateur : AhrefsBot
Autorisation: /
Erreur 403 Interdite : Bloc IP dans la configuration du serveur web
Le site web cible empêche notre explorateur d'y accéder au niveau du serveur. Veuillez ajouter nos adresses IP et l'Agent Utilisateur AhrefsBot à la liste blanche de votre serveur web.
Une liste de nos IP :
Erreur 406 Non Acceptable: bloquer par user-agent depuis un pare-feu/plugin de sécurité
Notre bot est actuellement bloqué et ne peut pas atteindre votre site web. Cela peut être dû à plusieurs raisons comme : la configuration de votre serveur web, le pare-feu géré par votre hébergeur, la protection de votre CDN, etc. Quelques exemples connus sont : ModSecurity, Sucuri, Cloudflare.
Il n'y a rien que nous puissions faire pour résoudre ce problème à notre fin; vous devrez prendre des mesures pour que cela soit réglé sur le vôtre.
Si vous ne savez pas comment résoudre le problème, veuillez contacter votre webmaster, votre hébergeur ou votre CDN pour que notre bot soit débloqué. Si leur chat de support utilise un système de ticketing, utilisez "Tech Support" ou la catégorie la plus proche.
N'hésitez pas à utiliser le modèle suivant :
---------------
Hi,
J'exécute le domaine <insert url here> et je voudrais demander à AhrefsBot d'être débloqué pour explorer mon domaine. Je veux qu'il fouille mon site et cette fonctionnalité est actuellement interdite par <insert firewall name here>. Veuillez trouver des informations sur le Crawler d'AhrefsBot ici: https://ahrefs.com/robot
Merci beaucoup.
----------------