¿Qué es Bot Analytics?
Bot Analytics te ayuda a supervisar qué bots visitan tu sitio web, con qué frecuencia lo visitan y qué páginas rastrean. Rastrea los bots en 12 categorías, incluidos asistentes de IA, motores de búsqueda, herramientas SEO y más. Bot Analytics es gratuito durante la beta.
Para obtener más información sobre cómo funciona y cómo se puede configurar, consulta su documentación técnica aquí.
¿Por qué supervisar el tráfico de bots?
Una parte considerable del tráfico que llega a tu sitio web proviene de bots, y Cloudflre estima que el 53% del tráfico de rastreadores es esfuerzo desperdiciado.
Monitorizar el tráfico de bots de tu sitio web puede ayudarte a:
Establecer reglas adecuadas de limitación de tasa para gestionar los bots maliciosos y mantener tu sitio web estable
Saber qué rastreadores de IA (como ChatGPT y Perplexity) visitan tu sitio para recopilar contenido antes de citarlo en respuestas generadas por IA
Ver los datos de tráfico de bots en los informes
Bot Analytics tiene cuatro informes, y cada uno ofrece una vista diferente del tráfico de bots.
Resumen: un resumen general de toda la actividad de bots en tu sitio
Bots: tráfico desglosado por bot individual (p. ej., Googlebot, GPTBot, ClaudeBot)
Categorías: tráfico agrupado por tipo de bot, como motor de búsqueda, rastreador de IA o herramienta SEO
Páginas: Visualiza y ordena las páginas por el mayor número de visitas, el código de estado o los bots que llegan a cualquier página.
Páginas rastreadas: páginas específicas de tu sitio que los bots han visitado
Primero, abre tu proyecto en Ahrefs y ve a Ajustes del proyecto → Bot Analytics.
Cada uno de los informes incluye un gráfico de líneas que puedes configurar para adaptarlo a tu análisis.
Alterna entre las vistas Absoluta (recuentos de solicitudes sin procesar) y Relativa (porcentaje relativo). Esta última opción facilita comparar directamente páginas o bots entre sí.
Configura la granularidad temporal en horaria, diaria, semanal o mensual, y usa el selector de fechas personalizado para comparar distintos periodos de tiempo.
Filtrado en los informes
Puedes filtrar los datos por nombres de bots, categorías, URL de páginas o métricas como clics, etc. Se pueden apilar varios filtros para crear el informe que necesitas.
También hay un botón de "bots de IA" para filtrar al instante todo el tráfico y mostrar solo el de bots de IA. Esta práctica función te permite ver rápidamente cómo los bots de IA rastrean tu sitio y qué páginas visitan con más frecuencia.
Exportar los datos de tráfico de bots
Exporta los datos de tráfico de bots en un .csv o como una hoja de Google.
¿Cómo inspecciono el contenido de una página?
En cualquier informe que liste páginas, pasa el cursor sobre el icono de la lupa junto a la URL de una página para abrir Page Inspect y ver el contenido de esa página. También puedes ver cómo ha cambiado la página con el tiempo, lo cual es útil para comprobar qué ven realmente los bots cuando la rastrean.
Los datos de inspección de página provienen de AhrefsBot.
¿Cómo configuro Bot Analytics?
Bot Analytics admite muchas formas de monitorizar registros de tráfico no humano. Consulta a continuación los servicios de CDN compatibles:
Cloudflare
Método 1: Cloudflare Logpush
Cloudflare Logpush envía automáticamente a Ahrefs los registros de solicitudes HTTP de tu sitio. Es la opción más eficiente para sitios con mucho tráfico. Este método necesita un plan Enterprise de Cloudflare.
Método 2: Cloudflare Worker
Un Cloudflare Worker ejecuta un pequeño script en cada solicitud y envía los datos a Ahrefs. Este método funciona con cualquier plan de Cloudflare, incluido el nivel gratuito.
Vercel
Conecta tu equipo de Vercel a tu espacio de trabajo de Ahrefs y, después, activa Bot Analytics para tu proyecto. Ahrefs asocia el proyecto por dominio y crea un Log Drain automáticamente.
→ Guía de configuración
→ Ahrefs en Vercel Marketplace
Amazon CloudFront
Reenvía los registros de acceso standard a Ahrefs a través de un flujo de Amazon Data Firehose.
Fastly
Envía los registros de solicitudes a Ahrefs a través de un punto de conexión de registro HTTPS usando el streaming de registros en tiempo real de Fastly.
Bot Analytics es gratuito durante la beta.
A veces, los bots que visitan tu sitio web pueden declarar un nombre o agente de usuario distinto del real (p. ej., bots que se hacen pasar por Googlebot, pero que en realidad no son de Google). Bot Analytics verifica los bots y marca los que no superan la verificación.
Cada bot se verifica mediante dos fuentes independientes:
Rangos de IP de bots conocidos, obtenidos de puntos de conexión públicos (Google, Bing, Anthropic y otros). Comprobamos si la IP del visitante pertenece al bot que dice ser.
Bots verificados de Cloudflare, una alternativa para cualquier bot del que no conozcamos los rangos de IP.
Bot Analytics marca a un visitante como suplantado cuando afirma ser un bot de nuestra lista conocida de bots verificados, pero no supera ninguna de las dos comprobaciones. Los bots suplantados conservan el nombre que declaran con el sufijo “(suplantado)”, por ejemplo, “Googlebot (suplantado)”, y pasan a una nueva categoría, Bot suplantado.
Puedes filtrar por esa categoría para excluir el tráfico suplantado o para ver solo bots suplantados.
Nota: Bot Analytics solo puede verificar si un bot es falso o no cuando contamos con al menos una de las dos fuentes de verificación compatibles (rangos de IP de bots conocidos y bots verificados de Cloudflare). Cualquier bot del que no podamos determinar si es real o falso conservará el nombre que declara en Bot Analytics y no se marcará como suplantado.
La cobertura de bots verificados crecerá a medida que añadamos más rangos de IP y métodos de verificación.
¿Cuáles son las categorías de bots?
Bot Analytics agrupa todos los bots detectados en las siguientes 12 categorías.
Categoría | Descripción |
Supervisión | Bots que comprueban si tu sitio web está en línea y funciona correctamente (p. ej., monitores de tiempo de actividad) |
Asistente de IA | Bots de plataformas de IA como ChatGPT y Perplexity que rastrean contenido para generar respuestas |
Búsqueda con IA | Rastreadores que impulsan motores de búsqueda basados en IA |
Rastreador de IA | Bots que recopilan contenido web para entrenar modelos de IA o crear conjuntos de datos de IA |
Motor de búsqueda | Rastreadores de Google, Bing y otros motores de búsqueda que indexan tus páginas |
Herramienta SEO | Bots de plataformas de SEO como Ahrefs que analizan tu sitio |
Redes sociales | Bots de plataformas como Facebook y Twitter/X que obtienen vistas previas de enlaces |
Agente de servicio | Bots que realizan tareas automatizadas en nombre de un servicio o plataforma |
Seguridad | Bots que escanean en busca de vulnerabilidades o malware |
Herramienta de obtención de feeds | Bots que obtienen feeds RSS o Atom para sindicar tu contenido |
Publicidad | Bots de redes publicitarias que verifican ubicaciones y detectan el fraude de clics |
Otros | Cualquier bot que no encaje en las categorías anteriores |