Qu'est-ce que Bot Analytics ?
Bot Analytics vous aide à surveiller quels bots visitent votre site web, à quelle fréquence ils le visitent et quelles pages ils explorent. Il suit les bots dans 12 catégories, dont les assistants IA, les moteurs de recherche, les outils SEO, et bien plus encore. Bot Analytics est gratuit pendant la bêta.
Pour en savoir plus sur son fonctionnement et sur la manière de le configurer, consultez sa documentation technique ici.
Pourquoi surveiller le trafic de bots ?
Une part importante du trafic qui arrive sur votre site web provient de bots, Cloudflre estimant que 53 % du trafic de crawling est un effort gaspillé.
Surveiller le trafic des bots sur votre site web peut vous aider à :
Définir des règles de limitation du débit adaptées afin de gérer les bots malveillants et de maintenir la stabilité de votre site web
Savoir quels crawlers d’IA (comme ChatGPT et Perplexity) visitent votre site pour collecter du contenu avant de le citer dans des réponses générées par l’IA
Afficher les données de trafic des bots dans les rapports
Bot Analytics comporte quatre rapports, chacun offrant une vue différente du trafic des bots.
Vue d’ensemble : un récapitulatif de haut niveau de l’ensemble de l’activité des bots sur votre site
Bots : trafic ventilé par bot individuel (par ex. Googlebot, GPTBot, ClaudeBot)
Catégories : trafic regroupé par type de bot, comme Moteur de recherche, crawler d’IA ou outil SEO
Pages : consultez et triez les pages selon le plus grand nombre de visites, le code de statut ou les bots qui consultent une page donnée.
Pages crawlées : pages spécifiques de votre site que les bots ont visitées
Commencez par ouvrir votre projet dans Ahrefs, puis accédez à Paramètres du projet → Bot Analytics.
Chaque rapport inclut un graphique linéaire que vous pouvez configurer selon vos besoins d’analyse.
Basculez entre les vues Absolue (nombre brut de requêtes) et Relative (part en pourcentage). Cette dernière option facilite la comparaison directe des pages ou des bots entre eux.
Réglez la granularité temporelle sur horaire, quotidienne, hebdomadaire ou mensuelle, et utilisez le sélecteur de dates personnalisé pour comparer différentes périodes.
Filtrage dans les rapports
Vous pouvez filtrer les données par noms de bots, catégories, URL de page ou métriques comme les clics, etc. Vous pouvez empiler plusieurs filtres afin d’obtenir le rapport dont vous avez besoin.
Il existe aussi un bouton "Bots d'IA" pour filtrer instantanément l'ensemble sur le seul trafic des bots d'IA. Cette fonctionnalité pratique vous permet de voir rapidement comment les bots d'IA explorent votre site, et quelles pages ils visitent le plus.
Exporter les données de trafic des bots
Exportez vos données de trafic des bots au format .csv ou dans une feuille Google.
Comment inspecter le contenu d’une page ?
Dans n’importe quel rapport qui liste des pages, survolez l’icône de loupe à côté de l’URL d’une page pour ouvrir Page Inspect et afficher le contenu de cette page. Vous pouvez aussi voir comment la page a changé au fil du temps, ce qui est utile pour vérifier ce que les bots voient réellement lorsqu'ils l'explorent.
Les données de Page Inspect proviennent de AhrefsBot.
Comment configurer Bot Analytics ?
Bot Analytics prend en charge de nombreuses méthodes pour surveiller les journaux de trafic non humain. Consultez ci-dessous les services CDN pris en charge :
Cloudflare
Méthode 1 : Cloudflare Logpush
Cloudflare Logpush envoie automatiquement à Ahrefs les journaux des requêtes HTTP de votre site. C'est l'option la plus efficace pour les sites à fort trafic. Cette méthode nécessite un forfait Cloudflare Entreprise.
Méthode 2 : Cloudflare Worker
Un Cloudflare Worker exécute un petit script à chaque requête et envoie les données à Ahrefs. Cette méthode fonctionne avec n'importe quel forfait Cloudflare, y compris la formule gratuite.
Vercel
Connectez votre équipe Vercel à votre espace de travail Ahrefs, puis activez Bot Analytics pour votre projet. Ahrefs associe le projet au domaine et crée automatiquement un Log Drain.
→ Guide de configuration
→ Ahrefs sur Vercel Marketplace
Amazon CloudFront
Transférez les journaux d’accès standard vers Ahrefs via un flux Amazon Data Firehose.
Fastly
Envoyez les journaux des requêtes à Ahrefs via un point de terminaison de journalisation HTTPS à l’aide du streaming de journaux en temps réel de Fastly.
Bot Analytics est gratuit pendant la bêta.
Il arrive que des bots qui visitent votre site déclarent un nom / User Agent différent de leur véritable identité (par exemple, des bots qui se font passer pour Googlebot mais ne proviennent pas de Google). Bot Analytics vérifie les bots et signale ceux qui échouent.
Chaque bot est vérifié à l’aide de deux sources indépendantes :
Plages d’IP de bots connues, récupérées à partir de points de terminaison publics (Google, Bing, Anthropic et autres). Nous vérifions si l’IP du visiteur appartient bien au bot qu’il prétend être.
Bots vérifiés par Cloudflare, une solution de repli pour tout bot dont nous ne connaissons pas les plages d’IP.
Bot Analytics signale un visiteur comme usurpé lorsqu’il prétend être un bot de notre liste de bots vérifiés connus, mais échoue aux deux vérifications. Les bots usurpés conservent le nom qu’ils revendiquent avec le suffixe « (usurpé) », par exemple « Googlebot (usurpé) », et sont déplacés vers une nouvelle catégorie Bot usurpé.
Vous pouvez filtrer par cette catégorie pour exclure le trafic usurpé ou pour n’afficher que les bots usurpés.
Remarque : Bot Analytics ne peut vérifier si un bot est faux ou non que si nous disposons d’au moins l’une des deux sources de vérification prises en charge (plages d’IP de bots connues et bots vérifiés par Cloudflare). Pour tout bot dont nous ne pouvons pas déterminer s’il est réel ou faux, il conservera le nom qu’il revendique dans Bot Analytics et ne sera pas marqué comme usurpé.
La couverture des bots vérifiés s’étendra à mesure que nous ajouterons davantage de plages d’IP et de méthodes de vérification.
Quelles sont les catégories de bots ?
Bot Analytics regroupe tous les bots détectés dans les 12 catégories suivantes.
Catégorie | Description |
Surveillance | Bots qui vérifient que votre site est en ligne et fonctionne correctement (par exemple, des outils de surveillance de disponibilité) |
Assistant IA | Bots de plateformes d'IA comme ChatGPT et Perplexity qui explorent le web pour générer des réponses |
Recherche IA | Crawlers qui alimentent les moteurs de recherche basés sur l'IA |
Crawler IA | Bots qui collectent du contenu web afin d'entraîner des modèles d'IA ou de constituer des ensembles de données d'IA |
Moteur de recherche | Crawlers de Google, Bing et d'autres moteurs de recherche qui indexent vos pages |
Outil SEO | Bots de plateformes SEO comme Ahrefs qui analysent votre site |
Réseaux sociaux | Bots provenant de plateformes comme Facebook et Twitter/X qui récupèrent des aperçus de liens |
Agent de service | Bots qui effectuent des tâches automatisées pour le compte d’un service ou d’une plateforme |
Sécurité | Bots qui recherchent des vulnérabilités ou des logiciels malveillants |
Récupérateur de flux | Bots qui récupèrent des flux RSS ou Atom pour syndiquer votre contenu |
Publicité | Bots provenant de réseaux publicitaires qui vérifient les emplacements et détectent la fraude au clic |
Autre | Tout bot qui n'entre dans aucune des catégories ci-dessus |