봇 애널리틱스를 사용하면 어떤 봇이 웹사이트를 방문하는지, 얼마나 자주 방문하는지, 어떤 페이지를 크롤링하는지 모니터링할 수 있습니다. AI 어시스턴트, 검색 엔진, SEO 도구 등을 포함한 12개 카테고리에서 봇을 추적합니다.

봇 애널리틱스는 베타 기간 동안 무료로 제공됩니다.

웹사이트로 유입되는 트래픽의 상당 부분은 봇에서 발생하며, Cloudflre는 크롤러 트래픽의 53%가 낭비되는 작업이라고 추정합니다.

웹사이트의 봇 트래픽을 모니터링하면 다음과 같은 도움이 됩니다:

Bot Analytics에는 4개의 보고서가 있으며, 각각 봇 트래픽을 서로 다른 관점에서 보여줍니다.

각 보고서에는 분석 목적에 맞게 설정할 수 있는 선형 차트가 포함되어 있습니다.

절대값(원시 요청 수)과 상대값(비율) 보기 사이를 전환하세요. 후자의 옵션을 사용하면 페이지나 봇을 서로 직접 비교하기가 더 쉽습니다.

시간 단위를 시간별, 일별, 주별 또는 월별로 설정하고, 사용자 지정 날짜 선택기를 사용하여 서로 다른 기간을 비교하세요.

봇 이름, 카테고리, 페이지 URL 또는 클릭 수 같은 지표 등으로 데이터를 필터링할 수 있습니다. 여러 필터를 함께 적용해 필요한 보고서를 구성할 수 있습니다.

또한 “AI bots” 버튼을 사용하면 모든 항목을 AI 봇 트래픽으로만 즉시 필터링할 수 있습니다. 이 유용한 기능을 통해 AI 봇이 사이트를 어떻게 크롤링하는지, 그리고 어떤 페이지를 가장 많이 방문하는지 빠르게 확인할 수 있습니다.

봇 트래픽 데이터를 .csv로 내보내거나 Google 스프레드시트로 내보내세요.

페이지가 나열된 어떤 보고서에서든 페이지 URL 옆의 돋보기 아이콘에 마우스를 올리면 Page Inspect가 열리며 해당 페이지의 콘텐츠를 확인할 수 있습니다. 또한 시간이 지나면서 페이지가 어떻게 변경되었는지도 확인할 수 있는데, 이는 봇이 해당 페이지를 크롤링할 때 실제로 무엇을 보는지 점검하는 데 유용합니다.

Page inspect 데이터는 AhrefsBot에서 가져옵니다.

Bot Analytics에서 봇 트래픽 데이터를 수집하려면 Cloudflare 통합이 필요합니다. Web Analytics와는 별도로 작동하며 서버 측에서 데이터를 수집하므로, 사이트에 JavaScript 추적 스크립트를 설치할 필요가 없습니다.

먼저 Ahrefs에서 프로젝트를 열고 프로젝트 설정 → Bot Analytics로 이동하세요.

다음으로 통합 방법을 선택하세요: Cloudflare Logpush 또는 Cloudflare Worker

Cloudflare Logpush는 사이트의 HTTP 요청 로그를 Ahrefs로 자동 전송합니다. 트래픽이 많은 사이트에는 이 옵션이 더 효율적입니다. 이 방법을 사용하려면 Cloudflare 엔터프라이즈 플랜이 필요합니다.

Cloudflare Worker는 각 요청마다 작은 스크립트를 실행하고 데이터를 Ahrefs로 전송합니다. 이 방법은 무료 티어를 포함한 모든 Cloudflare 플랜에서 사용할 수 있습니다.

Cloudflare Worker 방법을 사용하려면, 올바른 권한이 포함된 커스텀 API 토큰을 Cloudflare에서 생성해야 합니다.

토큰을 만들 때, Zone Resources에서 Zone(도메인)을 반드시 입력하세요. 이 단계를 거치지 않으면 토큰을 저장할 수 없습니다.

토큰이 올바르게 설정되면 Worker 구성은 다음과 같이 표시됩니다:

Bot Analytics는 감지된 모든 봇을 아래 12개 카테고리로 분류합니다.