Qu'est-ce que Bot Analytics ?
Bot Analytics vous aide à surveiller quels bots visitent votre site web, à quelle fréquence ils le visitent et quelles pages ils explorent. Il suit les bots dans 12 catégories, dont les assistants IA, les moteurs de recherche, les outils SEO, et bien plus encore.
Bot Analytics est gratuit pendant la bêta.
Pourquoi surveiller le trafic de bots ?
Une part importante du trafic qui arrive sur votre site web provient de bots, Cloudflre estimant que 53 % du trafic de crawling est un effort gaspillé.
Surveiller le trafic des bots sur votre site web peut vous aider à :
Définir des règles de limitation du débit adaptées afin de gérer les bots malveillants et de maintenir la stabilité de votre site web
Savoir quels crawlers d’IA (comme ChatGPT et Perplexity) visitent votre site pour collecter du contenu avant de le citer dans des réponses générées par l’IA
Afficher les données de trafic des bots dans les rapports
Bot Analytics comporte quatre rapports, chacun offrant une vue différente du trafic des bots.
Vue d’ensemble : un récapitulatif de haut niveau de l’ensemble de l’activité des bots sur votre site
Bots : trafic ventilé par bot individuel (par ex. Googlebot, GPTBot, ClaudeBot)
Catégories : trafic regroupé par type de bot, comme Moteur de recherche, crawler d’IA ou outil SEO
Pages crawlées : pages spécifiques de votre site que les bots ont visitées
Chaque rapport inclut un graphique linéaire que vous pouvez configurer selon vos besoins d’analyse.
Basculez entre les vues Absolue (nombre brut de requêtes) et Relative (part en pourcentage). Cette dernière option facilite la comparaison directe des pages ou des bots entre eux.
Réglez la granularité temporelle sur horaire, quotidienne, hebdomadaire ou mensuelle, et utilisez le sélecteur de dates personnalisé pour comparer différentes périodes.
Filtrage dans les rapports
Vous pouvez filtrer les données par noms de bots, catégories, URL de page ou métriques comme les clics, etc. Vous pouvez empiler plusieurs filtres afin d’obtenir le rapport dont vous avez besoin.
Il existe aussi un bouton "Bots d'IA" pour filtrer instantanément l'ensemble sur le seul trafic des bots d'IA. Cette fonctionnalité pratique vous permet de voir rapidement comment les bots d'IA explorent votre site, et quelles pages ils visitent le plus.
Exporter les données de trafic des bots
Exportez vos données de trafic des bots au format .csv ou dans une feuille Google.
Comment inspecter le contenu d’une page ?
Dans n’importe quel rapport qui liste des pages, survolez l’icône de loupe à côté de l’URL d’une page pour ouvrir Page Inspect et afficher le contenu de cette page. Vous pouvez aussi voir comment la page a changé au fil du temps, ce qui est utile pour vérifier ce que les bots voient réellement lorsqu'ils l'explorent.
Les données de Page Inspect proviennent de AhrefsBot.
Comment configurer Bot Analytics ?
Bot Analytics nécessite une intégration à Cloudflare pour collecter les données de trafic des bots. Il fonctionne indépendamment de Web Analytics et collecte les données côté serveur ; vous n'avez donc pas besoin d'un script de suivi JavaScript sur votre site.
Commencez par ouvrir votre projet dans Ahrefs, puis accédez à Paramètres du projet → Bot Analytics.
Ensuite, choisissez votre méthode d'intégration : Cloudflare Logpush ou Cloudflare Worker
Méthode 1 : Cloudflare Logpush
Cloudflare Logpush envoie automatiquement à Ahrefs les journaux des requêtes HTTP de votre site. C'est l'option la plus efficace pour les sites à fort trafic. Cette méthode nécessite un forfait Cloudflare Entreprise.
Méthode 2 : Cloudflare Worker
Un Cloudflare Worker exécute un petit script à chaque requête et envoie les données à Ahrefs. Cette méthode fonctionne avec n'importe quel forfait Cloudflare, y compris la formule gratuite.
Configurer votre jeton personnalisé (Cloudflare Worker)
Pour utiliser la méthode Cloudflare Worker, vous devez créer dans Cloudflare un jeton d'API personnalisé avec les autorisations appropriées.
Lors de la création du jeton, veillez à renseigner votre zone (domaine) sous Zone Resources. Le jeton ne peut pas être enregistré sans cette étape.
Une fois votre jeton correctement configuré, la configuration de votre worker doit ressembler à ceci :
Quelles sont les catégories de bots ?
Bot Analytics regroupe tous les bots détectés dans les 12 catégories suivantes.
Catégorie | Description |
Surveillance | Bots qui vérifient que votre site est en ligne et fonctionne correctement (par exemple, des outils de surveillance de disponibilité) |
Assistant IA | Bots de plateformes d'IA comme ChatGPT et Perplexity qui explorent le web pour générer des réponses |
Recherche IA | Crawlers qui alimentent les moteurs de recherche basés sur l'IA |
Crawler IA | Bots qui collectent du contenu web afin d'entraîner des modèles d'IA ou de constituer des ensembles de données d'IA |
Moteur de recherche | Crawlers de Google, Bing et d'autres moteurs de recherche qui indexent vos pages |
Outil SEO | Bots de plateformes SEO comme Ahrefs qui analysent votre site |
Réseaux sociaux | Bots provenant de plateformes comme Facebook et Twitter/X qui récupèrent des aperçus de liens |
Agent de service | Bots qui effectuent des tâches automatisées pour le compte d’un service ou d’une plateforme |
Sécurité | Bots qui recherchent des vulnérabilités ou des logiciels malveillants |
Récupérateur de flux | Bots qui récupèrent des flux RSS ou Atom pour syndiquer votre contenu |
Publicité | Bots provenant de réseaux publicitaires qui vérifient les emplacements et détectent la fraude au clic |
Autre | Tout bot qui n'entre dans aucune des catégories ci-dessus |