O que é o Bot Analytics?
O Bot Analytics ajuda você a monitorar quais bots visitam seu site, com que frequência eles o visitam e quais páginas eles rastreiam. Ele rastreia bots em 12 categorias, incluindo assistentes de IA, mecanismos de busca, ferramentas de SEO e muito mais.
O Bot Analytics é gratuito durante a fase beta.
Por que monitorar o tráfego de bots?
Uma fatia considerável do tráfego que chega ao seu site vem de bots, e a Cloudflre estima que 53% do tráfego de rastreadores é esforço desperdiçado.
Monitorar o tráfego de bots do seu site pode ajudar você a:
Definir regras adequadas de limitação de taxa para gerenciar bots maliciosos e manter seu site estável
Saber quais rastreadores de IA (como ChatGPT e Perplexity) visitam seu site para coletar conteúdo antes de citá-lo em respostas geradas por IA
Visualização de dados de tráfego de bots nos relatórios
O Bot Analytics tem quatro relatórios, cada um oferecendo uma visão diferente do tráfego de bots do seu site.
Visão geral: um resumo de alto nível de toda a atividade de bots no seu site
Bots: tráfego detalhado por bot individual (por exemplo, Googlebot, GPTBot, ClaudeBot)
Categorias: tráfego agrupado por tipo de bot, como mecanismo de busca, rastreador de IA ou ferramenta de SEO
Páginas rastreadas: páginas específicas do seu site que os bots visitaram
Cada relatório inclui um gráfico de linhas que você pode configurar de acordo com sua análise.
Alterne entre as visualizações Absoluta (contagens brutas de requisições) e Relativa (participação percentual). A segunda opção facilita a comparação direta de páginas ou bots entre si.
Defina a granularidade de tempo como horária, diária, semanal ou mensal e use o seletor de datas personalizado para comparar diferentes períodos de tempo.
Filtragem nos relatórios
Você pode filtrar os dados por nomes de bots, categorias, URLs de páginas ou métricas como cliques, etc. Vários filtros podem ser combinados para gerar o relatório de que você precisa.
Também há um botão "Bots de IA" para filtrar instantaneamente tudo apenas para o tráfego de bots de IA. Esse recurso prático permite ver rapidamente como os bots de IA rastreiam seu site e quais páginas eles mais visitam.
Exportação dos dados de tráfego de bots
Exporte os dados de tráfego de bots em formato .csv ou como uma planilha do Google.
Como faço para inspecionar o conteúdo de uma página?
Em qualquer relatório que liste páginas, passe o cursor sobre o ícone de lupa ao lado do URL de uma página para abrir o Page Inspect e ver o conteúdo dessa página. Você também pode ver como a página mudou ao longo do tempo, o que é útil para conferir o que os bots realmente veem quando a rastreiam.
Os dados do Page Inspect vêm do AhrefsBot.
Como configuro o Bot Analytics?
O Bot Analytics requer uma integração com a Cloudflare para coletar dados de tráfego de bots. Ele funciona de forma independente do Web Analytics e coleta dados no lado do servidor, portanto, você não precisa de um script de rastreamento JavaScript no seu site.
Primeiro, abra seu projeto na Ahrefs e acesse Configurações do Projeto → Bot Analytics.
Em seguida, escolha o método de integração: Cloudflare Logpush ou Cloudflare Worker
Método 1: Logpush da Cloudflare
O Cloudflare Logpush envia automaticamente para a Ahrefs os logs de solicitações HTTP do seu site. É a opção mais eficiente para sites com alto tráfego. Esse método requer um plano Enterprise da Cloudflare.
Método 2: Worker da Cloudflare
Um Worker da Cloudflare executa um pequeno script a cada solicitação e envia os dados para a Ahrefs. Esse método funciona com qualquer plano da Cloudflare, inclusive o nível gratuito.
Configure seu token personalizado (Cloudflare Worker)
Para usar o método Cloudflare Worker, você precisa criar um token de API personalizado na Cloudflare com as permissões corretas.
Ao criar o token, certifique-se de preencher sua zona (domínio) em Recursos de Zona. Não é possível salvar o token sem essa etapa.
Depois que o token estiver configurado corretamente, a configuração do seu worker deverá ficar assim:
Quais são as categorias de bots?
O Bot Analytics agrupa todos os bots detectados nas 12 categorias a seguir.
Categoria | Descrição |
Monitoramento | Bots que verificam se o seu site está online e funcionando corretamente (por exemplo, monitores de uptime) |
Assistente de IA | Bots de plataformas de IA como ChatGPT e Perplexity que rastreiam conteúdo para gerar respostas |
Pesquisa com IA | Rastreadores que alimentam mecanismos de busca orientados por IA |
Rastreador de IA | Bots que coletam conteúdo da web para treinar modelos de IA ou criar conjuntos de dados de IA |
Mecanismo de busca | Rastreadores do Google, Bing e outros mecanismos de busca que indexam suas páginas |
Ferramenta de SEO | Bots de plataformas de SEO como a Ahrefs que analisam seu site |
Redes sociais | Bots de plataformas como Facebook e Twitter/X que buscam prévias de links |
Agente de serviço | Bots que realizam tarefas automatizadas em nome de um serviço ou plataforma |
Segurança | Bots que fazem varredura em busca de vulnerabilidades ou malware |
Feed Fetcher | Bots que buscam feeds RSS ou Atom para distribuir seu conteúdo |
Publicidade | Bots de redes de anúncios que verificam posicionamentos e detectam fraude de cliques |
Outro | Qualquer bot que não se encaixe nas categorias acima |