什么是 Bot Analytics？

Bot Analytics 可帮助你监控哪些机器人访问了你的网站、它们的访问频率，以及它们抓取了哪些页面。它会在 12 个类别中跟踪机器人，包括 AI 助手、搜索引擎、SEO 工具等。

Bot Analytics 在 Beta 测试期间免费。

为什么要监控机器人流量？

访问你网站的流量中，有相当一部分来自机器人。Cloudflre 估计，53% 的爬虫流量都是无效消耗。

监控你网站的机器人流量可以帮助你：

Bot Analytics 提供四份报告，每份都从不同角度展示你的机器人流量。

每份报告都包含一张折线图，你可以按需配置以满足分析需求。

在 Absolute（原始请求数量）和 Relative（百分比占比）视图之间切换。后者让你更容易直接对页面或机器人进行对比。

将时间粒度设置为按小时、按天、按周或按月，并使用自定义日期选择器对比不同时间段。

你可以按机器人名称、类别、页面 URL，或点击等指标来筛选数据。你还可以叠加多个筛选条件，以定制你需要的报告。

另外还有一个“AI bots”按钮，可一键将所有内容筛选为仅 AI 机器人流量。这个实用功能可让你快速查看 AI 机器人如何抓取你的网站，以及它们最常访问哪些页面。

将你的机器人流量数据导出为 .csv 文件或 Google 表格。

在任何列出页面的报告中，将鼠标悬停在页面 URL 旁的放大镜图标上，即可打开 Page Inspect 并查看该页面的内容。你还可以查看页面随时间的变化情况，这对于检查机器人抓取时实际看到的内容很有帮助。

页面检查数据来自 AhrefsBot。

Bot Analytics 需要集成 Cloudflare 才能收集机器人流量数据。它独立于 Web Analytics 运行，并在服务器端收集数据，因此您无需在网站上添加 JavaScript 跟踪脚本。

首先，在 Ahrefs 中打开您的项目，然后前往 项目设置 → Bot Analytics。

接下来，选择您的集成方式：Cloudflare Logpush 或 Cloudflare Worker

Cloudflare Logpush 会自动将您网站的 HTTP 请求日志发送到 Ahrefs。对于高流量网站来说，这是更高效的选项。此方法需要 Cloudflare 企业版 套餐。

Cloudflare Worker 会在每次请求时运行一个小脚本，并将数据发送到 Ahrefs。此方法适用于任何 Cloudflare 套餐，包括免费套餐。

要使用 Cloudflare Worker 方法，您需要在 Cloudflare 中创建一个具有正确权限的自定义 API 令牌。

创建令牌时，请确保在 Zone Resources 下填写您的 Zone（域名）。缺少此步骤将无法保存令牌。

令牌设置正确后，您的 Worker 配置应如下所示：

Bot Analytics 会将检测到的所有机器人归入以下 12 个类别。

类别	描述
监控	用于检查您的网站是否在线以及是否正常运行的机器人（例如：正常运行时间监控）
AI 助手	来自 ChatGPT、Perplexity 等 AI 平台的机器人，会抓取内容以生成答案
AI 搜索	为 AI 驱动的搜索引擎提供支持的爬虫
AI 爬虫	收集网页内容以训练 AI 模型或构建 AI 数据集的机器人
搜索引擎	来自 Google、Bing 及其他搜索引擎的爬虫，负责抓取并索引您的页面
SEO 工具	来自 Ahrefs 等 SEO 平台的机器人，会分析您的网站
社交媒体	来自 Facebook、Twitter/X 等平台、用于抓取链接预览的机器人
服务代理	代表某项服务或平台执行自动化任务的机器人
安全	扫描漏洞或恶意软件的机器人
Feed Fetcher	抓取 RSS 或 Atom 订阅源以聚合分发你的内容的机器人
广告	来自广告网络、用于验证投放位置并检测点击欺诈的机器人
其他	不属于上述类别的任何机器人