Lorsque vous créez un nouveau projet dans Ahrefs, vous pourriez obtenir un message d'erreur disant que l'un ou les deux de nos bots (AhrefsBot et AhrefsSiteAudit bot) n'a pas pu explorer votre site web cible.

Cela signifie que nous ne sommes pas en mesure d'accéder à votre site Web en raison de problèmes hors de notre contrôle. En tant que propriétaire du site Web, il y a quelques moyens pour vous de résoudre ce problème et nous permettre d'y accéder.

Ce sont des problèmes communs:

Si vous voyez ce message d'erreur ci-dessous ou un message qui dit "Robots.txt rules not allow crawl", votre robots.txt pourrait nous empêcher d'explorer.

Pour vérifier cela, tapez votre site web dans notre vérificateur de robots : https://ahrefs.com/robot/site-audit
​

Veuillez vous assurer que vous n'avez pas de règle interdite sur votre fichier robots.txt pour AhrefsSiteAudit ou pour AhrefsBot

Vous pouvez également ajouter les lignes suivantes dans le fichier robots.txt sur votre serveur:

Agent utilisateur : AhrefsSiteAudit
Autorisation: /

Agent utilisateur : AhrefsBot
Autorisation: /

Si vous voyez les messages ci-dessus (ou des variantes), veuillez ajouter nos adresses IP à la liste blanche du serveur. Cette erreur est généralement due à des problèmes ou à des configurations au niveau du serveur qui bloquent ou ralentissent le Crawler d’Ahrefs. Les causes fréquentes sont notamment les extensions de sécurité, les pare-feu, les hébergeurs, les CDN (p. ex. Cloudflare, Sucuri, ModSecurity), une mauvaise configuration du serveur ou des règles de limitation du taux de requêtes.

Nos adresses IP : https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges. Assurez-vous que toutes les plages d’adresses IP d’Ahrefs sont autorisées sur votre serveur, dans votre pare-feu, votre CDN et tous vos outils de sécurité afin de garantir un accès ininterrompu.

Un autre problème possible est que votre hébergeur nous bloque. Dans ce cas, veuillez vérifier avec eux pour résoudre le problème. Si le problème persiste, contactez votre hébergeur pour vérifier qu’il ne bloque pas Ahrefs et vous assurer que toutes les adresses IP et tous les agents utilisateurs nécessaires sont autorisés.

Vous devriez également vérifier si vous utilisez des plugins qui pourraient nous bloquer et causer cette erreur. Par exemple, le plugin Incapsula nous bloque. En outre, passez en revue les configurations de sécurité — pare-feu (par ex., ModSecurity, Safeguard), CDN (par ex., Cloudflare, Sucuri) et scripts de protection contre les attaques DDoS — qui pourraient bloquer le crawler d’Ahrefs ou en limiter le débit.

Ce message d'erreur signifie généralement que nous sommes bloqués par le pare-feu ou le plugin de votre site ; et nos IPs et user-agent (AhrefsiteAudit et/ou AhrefsBot) doivent y être whitelistés.

Si vous voyez ce message d'erreur, cela peut être dû à des raisons comme : la configuration de votre serveur web, le pare-feu géré par votre hébergeur, la protection de votre CDN, etc.

Le message d'erreur peut fournir des indices quant à la cause de ce problème. Quelques exemples connus sont : ModSecurity, Sucuri, Cloudflare.

Nous ne pouvons rien faire pour résoudre ce problème à notre fin. Vous devrez prendre des mesures pour que cela soit corrigé dans la vôtre.

Si vous ne savez pas comment résoudre le problème, veuillez contacter votre webmaster, votre hébergeur ou votre CDN pour que notre bot soit débloqué. Si leur chat de support utilise un système de ticketing, utilisez "Tech Support" ou la catégorie la plus proche. Après avoir appliqué les modifications ci-dessus, lancez une nouvelle exploration dans Ahrefs Site Audit afin de vérifier que l’erreur a bien été résolue.

N'hésitez pas à utiliser le modèle suivant :

---------------

Hi,

J'exécute le domaine <insert url here> et je voudrais demander que Ahrefsbot soit débloqué. Je veux qu'il fouille mon site et cette fonctionnalité est actuellement interdite par <insert firewall name here>. Ahrefsbot n'a aucun trait d'un « mauvais» bot – veuillez voir: https://ahrefs.com/robot

Merci beaucoup.

----------------
​
Si vous ne voyez pas votre problème décrit ci-dessus, ou si vous avez juste besoin de conseils supplémentaires, veuillez contacter notre équipe d'assistance pour obtenir de l'aide.
​