Lorsque vous créez un nouveau projet dans Ahrefs, vous pourriez obtenir un message d'erreur disant que l'un ou les deux de nos bots (AhrefsBot et AhrefsSiteAudit bot) n'a pas pu explorer votre site web cible.

Cela signifie que nous ne sommes pas en mesure d'accéder à votre site Web en raison de problèmes hors de notre contrôle. En tant que propriétaire du site Web, il y a quelques moyens pour vous de résoudre ce problème et nous permettre d'y accéder.

Ce sont des problèmes communs:

Si vous voyez ce message d'erreur ci-dessous ou un message qui dit "Robots.txt rules not allow crawl", votre robots.txt pourrait nous empêcher d'explorer.

Pour vérifier cela, tapez votre site web dans notre vérificateur de robots : https://ahrefs.com/robot/site-audit
​

Veuillez vous assurer que vous n'avez pas de règle interdite sur votre fichier robots.txt pour AhrefsSiteAudit ou pour AhrefsBot

Vous pouvez également ajouter les lignes suivantes dans le fichier robots.txt sur votre serveur:

Agent utilisateur : AhrefsSiteAudit
Autorisation: /

Agent utilisateur : AhrefsBot
Autorisation: /

Si vous voyez les messages ci-dessus (ou les variantes), veuillez ajouter nos adresses IP à la liste blanche du serveur.

Nos IPs :
​https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges

Un autre problème possible est que votre hébergeur nous bloque. Dans ce cas, veuillez vérifier avec eux pour résoudre le problème.

Vous devriez également vérifier si vous utilisez des plugins qui pourraient nous bloquer et causer cette erreur. Par exemple, le plugin Incapsula nous bloque.

Ce message d'erreur signifie généralement que nous sommes bloqués par le pare-feu ou le plugin de votre site ; et nos IPs et user-agent (AhrefsiteAudit et/ou AhrefsBot) doivent y être whitelistés.

Si vous voyez ce message d'erreur, cela peut être dû à des raisons comme : la configuration de votre serveur web, le pare-feu géré par votre hébergeur, la protection de votre CDN, etc.

Le message d'erreur peut fournir des indices quant à la cause de ce problème. Quelques exemples connus sont : ModSecurity, Sucuri, Cloudflare.

Nous ne pouvons rien faire pour résoudre ce problème à notre fin. Vous devrez prendre des mesures pour que cela soit corrigé dans la vôtre.

Si vous ne savez pas comment résoudre le problème, veuillez contacter votre webmaster, votre hébergeur ou votre CDN pour que notre bot soit débloqué. Si leur chat de support utilise un système de ticketing, utilisez "Tech Support" ou la catégorie la plus proche.

N'hésitez pas à utiliser le modèle suivant :

---------------

Hi,

J'exécute le domaine <insert url here> et je voudrais demander que Ahrefsbot soit débloqué. Je veux qu'il fouille mon site et cette fonctionnalité est actuellement interdite par <insert firewall name here>. Ahrefsbot n'a aucun trait d'un « mauvais» bot – veuillez voir: https://ahrefs.com/robot

Merci beaucoup.

----------------
​
Si vous ne voyez pas votre problème décrit ci-dessus, ou si vous avez juste besoin de conseils supplémentaires, veuillez contacter notre équipe d'assistance pour obtenir de l'aide.
​