Notre Crawler Web, nommé AhrefsBot explore votre site Web en prenant des notes de liens sortants et en les ajoutant à notre base de données. Il réexaminera périodiquement votre site Web pour vérifier l'état actuel des liens précédemment trouvés.

L'explorateur ne génère pas d'URL, ne suit que les liens trouvés sur Internet et utilise toujours GET (qui selon les spécifications HTTP ne devrait pas déclencher d'actions destructrices du côté du serveur).

AhrefsBot respecte strictement robots.txt, à la fois interdire et autoriser les règles.

Pour modifier la fréquence de la visite d'AhrefsBot sur votre site, vous pouvez spécifier le délai minimum acceptable entre deux requêtes consécutives de notre bot dans vos robots. fichier xt :

User-agent: AhrefsBot
​Crawl-Delay : [value]

Là où la valeur du délai de ramassage est le temps en secondes.

Si pour une raison quelconque, vous voulez empêcher AhrefsBot de visiter votre site, mettez les deux lignes suivantes dans le fichier robots.txt sur votre serveur:

User-agent : AhrefsBot
​Rejeter : /

Veuillez noter qu'AhrefsBot peut avoir besoin de temps pour choisir les changements dans votre fichier robots.txt. Cela sera fait avant chaque prochaine exploration planifiée.