什么是 Bot Analytics？
Bot Analytics 可帮助你监控哪些机器人访问了你的网站、它们的访问频率，以及它们抓取了哪些页面。它会在 12 个类别中跟踪机器人，包括 AI 助手、搜索引擎、SEO 工具等。 Bot Analytics 在 Beta 测试期间免费。
如需了解其工作原理以及如何设置，请查看其技术文档，点击此处。
为什么要监控机器人流量？
访问你网站的流量中，有相当一部分来自机器人。 Cloudflre 估计，53% 的爬虫流量都是无效消耗。
监控你网站的机器人流量可以帮助你：
设置合适的速率限制规则，管理恶意机器人并保持网站稳定
了解哪些 AI 爬虫（如 ChatGPT 和 Perplexity）会访问你的网站收集内容，然后在 AI 生成的答案中引用这些内容
在报告中查看机器人流量数据
Bot Analytics 提供四份报告，每份都从不同角度展示你的机器人流量。
概览：对全站所有机器人活动的高层级汇总
机器人：按单个机器人（例如 Googlebot、GPTBot、ClaudeBot）拆分的流量
类别：按机器人类型分组的流量，例如搜索引擎、AI 爬虫或 SEO 工具
页面：按访问次数最多、状态码或访问任意页面的 bot 来查看并排序页面。
状态码：按 bot 访问你网站任意页面时遇到的状态码查看页面和访问次数。
已抓取页面：机器人访问过的网站具体页面
每份报告都包含一张折线图，你可以按需配置以满足分析需求。
在 Absolute（原始请求数量）和 Relative（百分比占比）视图之间切换。后者让你更容易直接对页面或机器人进行对比。
将时间粒度设置为按小时、按天、按周或按月，并使用自定义日期选择器对比不同时间段。
在报告中筛选
你可以按机器人名称、类别、页面 URL，或点击等指标来筛选数据。你还可以叠加多个筛选条件，以定制你需要的报告。
另外还有一个“AI bots”按钮，可一键将所有内容筛选为仅 AI 机器人流量。这个实用功能可让你快速查看 AI 机器人如何抓取你的网站，以及它们最常访问哪些页面。
导出机器人流量数据
将你的机器人流量数据导出为 .csv 文件或 Google 表格。
如何检查页面内容？
在任何列出页面的报告中，将鼠标悬停在页面 URL 旁的放大镜图标上，即可打开 Page Inspect 并查看该页面的内容。你还可以查看页面随时间的变化情况，这对于检查机器人抓取时实际看到的内容很有帮助。
页面检查数据来自 AhrefsBot。
如何设置 Bot Analytics？
Bot Analytics 支持多种监控非人类流量日志的方式，请查看下方我们支持的 CDN 服务：
Cloudflare
方法 1：Cloudflare Logpush
Cloudflare Logpush 会自动将您网站的 HTTP 请求日志发送到 Ahrefs。对于高流量网站来说，这是更高效的选项。此方法需要 Cloudflare 企业版 套餐。
→ 设置指南
方法 2：Cloudflare Worker
Cloudflare Worker 会在每次请求时运行一个小脚本，并将数据发送到 Ahrefs。此方法适用于任何 Cloudflare 套餐，包括免费套餐。
→ 设置指南
Vercel
首先，在 Ahrefs 中打开您的项目，然后前往 项目设置 → Bot Analytics。 Ahrefs 会按域名匹配项目，并自动创建一个 Log Drain。
→ 设置指南
→ Vercel Marketplace 上的 Ahrefs
Amazon CloudFront
通过 Amazon Data Firehose 流将标准版访问日志转发到 Ahrefs。
→ 设置指南
Fastly
使用 Fastly 的实时日志流，通过 HTTPS 日志记录端点将请求日志发送至 Ahrefs。
→ 设置指南
Bot Analytics 在 Beta 测试期间免费。
有时，访问你网站的 bot 可能会声明一个与实际不符的名称/用户代理（例如，冒充 Googlebot 的 bot，但实际上并非来自 Google）。 Bot Analytics 会验证 bot，并标记验证失败的 bot。
每个 bot 都会通过两个相互独立的数据源进行验证：
已知 bot 的 IP 范围，从公开端点（Google、Bing、Anthropic 等）获取。我们会检查访问者的 IP 是否属于其声称的 bot。
Cloudflare 已验证的 bot，作为我们不知道其 IP 范围的任何 bot 的备用验证方式。
当访问者声称自己是我们已知的已验证 bot 列表中的某个 bot，但两项检查均未通过时，Bot Analytics 会将其标记为“伪装”。伪装的 bot 会保留其声称的名称，并带有“（伪装）”后缀，例如“Googlebot（伪装）”，并会被归入新的 伪装 bot 类别。
你可以按该类别进行筛选，以排除伪装流量，或仅查看伪装 bot。
注意：只有在我们至少拥有以下两个受支持验证来源中的一个（已知 bot 的 IP 范围和 Cloudflare 已验证的 bot）时，Bot Analytics 才能验证某个 bot 是否为伪造 bot。对于任何我们无法判断真伪的 bot，它会在 Bot Analytics 中保留其声称的名称，并且不会被标记为伪装。
随着我们添加更多 IP 范围和验证方法，已验证 bot 的覆盖范围将会扩大。
机器人类别有哪些？
Bot Analytics 会将检测到的所有机器人归入以下 12 个类别。
类别 | 描述 |
监控 | 用于检查您的网站是否在线以及是否正常运行的机器人（例如：正常运行时间监控） |
AI 助手 | 来自 ChatGPT、Perplexity 等 AI 平台的机器人，会抓取内容以生成答案 |
AI 搜索 | 为 AI 驱动的搜索引擎提供支持的爬虫 |
AI 爬虫 | 收集网页内容以训练 AI 模型或构建 AI 数据集的机器人 |
搜索引擎 | 来自 Google、Bing 及其他搜索引擎的爬虫，负责抓取并索引您的页面 |
SEO 工具 | 来自 Ahrefs 等 SEO 平台的机器人，会分析您的网站 |
社交媒体 | 来自 Facebook、Twitter/X 等平台、用于抓取链接预览的机器人 |
服务代理 | 代表某项服务或平台执行自动化任务的机器人 |
安全 | 扫描漏洞或恶意软件的机器人 |
Feed Fetcher | 抓取 RSS 或 Atom 订阅源以聚合分发你的内容的机器人 |
广告 | 来自广告网络、用于验证投放位置并检测点击欺诈的机器人 |
其他 | 不属于上述类别的任何机器人 |