O que é o Bot Analytics?
O Bot Analytics ajuda você a monitorar quais bots visitam seu site, com que frequência eles o visitam e quais páginas eles rastreiam. Ele rastreia bots em 12 categorias, incluindo assistentes de IA, mecanismos de busca, ferramentas de SEO e muito mais. O Bot Analytics é gratuito durante a fase beta.
Para saber mais sobre como ele funciona e como pode ser configurado, confira a documentação técnica aqui.
Por que monitorar o tráfego de bots?
Uma fatia considerável do tráfego que chega ao seu site vem de bots, e a Cloudflre estima que 53% do tráfego de rastreadores é esforço desperdiçado.
Monitorar o tráfego de bots do seu site pode ajudar você a:
Definir regras adequadas de limitação de taxa para gerenciar bots maliciosos e manter seu site estável
Saber quais rastreadores de IA (como ChatGPT e Perplexity) visitam seu site para coletar conteúdo antes de citá-lo em respostas geradas por IA
Visualização de dados de tráfego de bots nos relatórios
O Bot Analytics tem quatro relatórios, cada um oferecendo uma visão diferente do tráfego de bots do seu site.
Visão geral: um resumo de alto nível de toda a atividade de bots no seu site
Bots: tráfego detalhado por bot individual (por exemplo, Googlebot, GPTBot, ClaudeBot)
Categorias: tráfego agrupado por tipo de bot, como mecanismo de busca, rastreador de IA ou ferramenta de SEO
Páginas: veja e ordene as páginas pelo maior número de visitas, código de status ou bots que acessaram qualquer página.
Páginas rastreadas: páginas específicas do seu site que os bots visitaram
Primeiro, abra seu projeto na Ahrefs e acesse Configurações do Projeto → Bot Analytics.
Cada relatório inclui um gráfico de linhas que você pode configurar de acordo com sua análise.
Alterne entre as visualizações Absoluta (contagens brutas de requisições) e Relativa (participação percentual). A segunda opção facilita a comparação direta de páginas ou bots entre si.
Defina a granularidade de tempo como horária, diária, semanal ou mensal e use o seletor de datas personalizado para comparar diferentes períodos de tempo.
Filtragem nos relatórios
Você pode filtrar os dados por nomes de bots, categorias, URLs de páginas ou métricas como cliques, etc. Vários filtros podem ser combinados para gerar o relatório de que você precisa. Vários filtros podem ser combinados para gerar o relatório de que você precisa.
Também há um botão "Bots de IA" para filtrar instantaneamente tudo apenas para o tráfego de bots de IA. Esse recurso prático permite ver rapidamente como os bots de IA rastreiam seu site e quais páginas eles mais visitam.
Exportação dos dados de tráfego de bots
Exporte os dados de tráfego de bots em formato .csv ou como uma planilha do Google.
Como faço para inspecionar o conteúdo de uma página?
Em qualquer relatório que liste páginas, passe o cursor sobre o ícone de lupa ao lado do URL de uma página para abrir o Page Inspect e ver o conteúdo dessa página. Você também pode ver como a página mudou ao longo do tempo, o que é útil para conferir o que os bots realmente veem quando a rastreiam.
Os dados do Page Inspect vêm do AhrefsBot.
Como configuro o Bot Analytics?
O Bot Analytics oferece várias formas de monitorar logs de tráfego não humano. Confira abaixo os serviços de CDN compatíveis:
Cloudflare
Método 1: Logpush da Cloudflare
O Cloudflare Logpush envia automaticamente para a Ahrefs os logs de solicitações HTTP do seu site. É a opção mais eficiente para sites com alto tráfego. Esse método requer um plano Enterprise da Cloudflare.
Método 2: Worker da Cloudflare
Um Worker da Cloudflare executa um pequeno script a cada solicitação e envia os dados para a Ahrefs. Esse método funciona com qualquer plano da Cloudflare, inclusive o nível gratuito.
Vercel
Conecte sua equipe da Vercel ao seu espaço de trabalho da Ahrefs e, em seguida, ative o Bot Analytics para o seu projeto. A Ahrefs associa o projeto pelo domínio e cria um Log Drain automaticamente.
→ Guia de configuração
→ Ahrefs no Vercel Marketplace
Amazon CloudFront
Encaminhe logs de acesso standard para a Ahrefs por meio de um stream do Amazon Data Firehose.
Fastly
Envie logs de solicitações para a Ahrefs por meio de um endpoint de logging HTTPS usando o streaming de logs em tempo real da Fastly.
O Bot Analytics é gratuito durante a fase beta.
Às vezes, os bots que visitam seu site podem declarar um nome/User Agent diferente do que realmente são (por exemplo, bots que fingem ser o Googlebot, mas não são de fato do Google). O Bot Analytics verifica os bots e sinaliza os que falham.
Cada bot é verificado usando duas fontes independentes:
Intervalos de IP de bots conhecidos, obtidos de endpoints públicos (Google, Bing, Anthropic e outros). Verificamos se o IP do visitante pertence ao bot que ele diz ser.
Bots verificados pela Cloudflare, uma alternativa para qualquer bot cujos intervalos de IP não conhecemos.
O Bot Analytics sinaliza um visitante como falsificado quando ele afirma ser um bot da nossa lista de bots verificados conhecidos, mas falha em ambas as verificações. Bots falsificados mantêm o nome declarado com o sufixo “(falsificado)”, por exemplo “Googlebot (falsificado)”, e passam para uma nova categoria de Bot falsificado.
Você pode filtrar por essa categoria para excluir tráfego falsificado ou para ver apenas bots falsificados.
Observação: o Bot Analytics só pode verificar se um bot é falso ou não quando temos pelo menos uma das duas fontes de verificação compatíveis (intervalos de IP de bots conhecidos e bots verificados da Cloudflare). Qualquer bot que não conseguirmos identificar como real ou falso manterá o nome declarado no Bot Analytics e não será marcado como falsificado.
A cobertura de bots verificados aumentará conforme adicionarmos mais intervalos de IP e métodos de verificação.
Quais são as categorias de bots?
O Bot Analytics agrupa todos os bots detectados nas 12 categorias a seguir.
Categoria | Descrição |
Monitoramento | Bots que verificam se o seu site está online e funcionando corretamente (por exemplo, monitores de uptime) |
Assistente de IA | Bots de plataformas de IA como ChatGPT e Perplexity que rastreiam conteúdo para gerar respostas |
Pesquisa com IA | Rastreadores que alimentam mecanismos de busca orientados por IA |
Rastreador de IA | Bots que coletam conteúdo da web para treinar modelos de IA ou criar conjuntos de dados de IA |
Mecanismo de busca | Rastreadores do Google, Bing e outros mecanismos de busca que indexam suas páginas |
Ferramenta de SEO | Bots de plataformas de SEO como a Ahrefs que analisam seu site |
Redes sociais | Bots de plataformas como Facebook e Twitter/X que buscam prévias de links |
Agente de serviço | Bots que realizam tarefas automatizadas em nome de um serviço ou plataforma |
Segurança | Bots que fazem varredura em busca de vulnerabilidades ou malware |
Feed Fetcher | Bots que buscam feeds RSS ou Atom para distribuir seu conteúdo |
Publicidade | Bots de redes de anúncios que verificam posicionamentos e detectam fraude de cliques |
Outro | Qualquer bot que não se encaixe nas categorias acima |