봇 애널리틱스란 무엇인가요?
봇 애널리틱스를 사용하면 어떤 봇이 웹사이트를 방문하는지, 얼마나 자주 방문하는지, 어떤 페이지를 크롤링하는지 모니터링할 수 있습니다. AI 어시스턴트, 검색 엔진, SEO 도구 등을 포함한 12개 카테고리에서 봇을 추적합니다. 봇 애널리틱스는 베타 기간 동안 무료로 제공됩니다.
작동 방식과 설정 방법에 대한 자세한 내용은 여기에서 기술 문서를 확인하세요.
봇 트래픽을 모니터링해야 하는 이유는 무엇인가요?
웹사이트로 유입되는 트래픽의 상당 부분은 봇에서 발생하며, Cloudflre는 크롤러 트래픽의 53%가 낭비되는 작업이라고 추정합니다.
웹사이트의 봇 트래픽을 모니터링하면 다음과 같은 도움이 됩니다:
불량 봇을 관리하고 웹사이트의 안정성을 유지하기 위해 적절한 속도 제한 규칙을 설정할 수 있습니다.
ChatGPT나 Perplexity 같은 AI 크롤러가 AI 생성 답변에서 인용하기 전에 콘텐츠를 수집하려고 사이트를 방문하는지 확인할 수 있습니다.
보고서에서 봇 트래픽 데이터 보기
Bot Analytics에는 4개의 보고서가 있으며, 각각 봇 트래픽을 서로 다른 관점에서 보여줍니다.
개요: 사이트 전체의 모든 봇 활동을 한눈에 볼 수 있는 상위 수준 요약
봇: 개별 봇(예: Googlebot, GPTBot, ClaudeBot)별로 분류한 트래픽
카테고리: 검색 엔진, AI 크롤러, SEO 도구 등 봇 유형별로 그룹화한 트래픽
페이지: 방문 수가 많은 순, 상태 코드, 또는 특정 페이지에 요청을 보낸 봇을 기준으로 페이지를 확인하고 정렬합니다.
상태 코드: 웹사이트의 어떤 페이지를 방문할 때 봇이 경험하는 상태 코드별로 페이지와 방문 수를 확인합니다.
사이트 구조: 사이트 구조 계층에 따라 정리된 사이트 페이지의 봇 트래픽 데이터를 확인합니다.
각 보고서에는 분석 목적에 맞게 설정할 수 있는 선형 차트가 포함되어 있습니다.
절대값(원시 요청 수)과 상대값(비율) 보기 사이를 전환하세요. 후자의 옵션을 사용하면 페이지나 봇을 서로 직접 비교하기가 더 쉽습니다.
시간 단위를 시간별, 일별, 주별 또는 월별로 설정하고, 사용자 지정 날짜 선택기를 사용하여 서로 다른 기간을 비교하세요.
보고서에서 필터링
봇 이름, 카테고리, 페이지 URL 또는 클릭 수 같은 지표 등으로 데이터를 필터링할 수 있습니다. 여러 필터를 함께 적용해 필요한 보고서를 구성할 수 있습니다.
또한 “AI bots” 버튼을 사용하면 모든 항목을 AI 봇 트래픽으로만 즉시 필터링할 수 있습니다. 이 유용한 기능을 통해 AI 봇이 사이트를 어떻게 크롤링하는지, 그리고 어떤 페이지를 가장 많이 방문하는지 빠르게 확인할 수 있습니다.
봇 트래픽 데이터 내보내기
봇 트래픽 데이터를 .csv로 내보내거나 Google 스프레드시트로 내보내세요.
페이지의 콘텐츠를 어떻게 확인하나요?
페이지가 나열된 어떤 보고서에서든 페이지 URL 옆의 돋보기 아이콘에 마우스를 올리면 Page Inspect가 열리며 해당 페이지의 콘텐츠를 확인할 수 있습니다. 또한 시간이 지나면서 페이지가 어떻게 변경되었는지도 확인할 수 있는데, 이는 봇이 해당 페이지를 크롤링할 때 실제로 무엇을 보는지 점검하는 데 유용합니다.
Page inspect 데이터는 AhrefsBot에서 가져옵니다.
Bot Analytics는 어떻게 설정하나요?
봇 애널리틱스는 비인간 트래픽 로그를 모니터링하는 다양한 방법을 지원합니다. 아래에서 지원하는 CDN 서비스를 확인하세요.
Cloudflare
방법 1: Cloudflare Logpush
Cloudflare Logpush는 사이트의 HTTP 요청 로그를 Ahrefs로 자동 전송합니다. 트래픽이 많은 사이트에는 이 옵션이 더 효율적입니다. 이 방법을 사용하려면 Cloudflare 엔터프라이즈 플랜이 필요합니다.
→ 설정 가이드
방법 2: Cloudflare Worker
Cloudflare Worker는 각 요청마다 작은 스크립트를 실행하고 데이터를 Ahrefs로 전송합니다. 이 방법은 무료 티어를 포함한 모든 Cloudflare 플랜에서 사용할 수 있습니다.
→ 설정 가이드
Vercel
Vercel 팀을 Ahrefs 워크스페이스에 연결한 다음, 프로젝트에서 봇 애널리틱스를 활성화하세요. Ahrefs는 도메인으로 프로젝트를 매칭하고 Log Drain을 자동으로 생성합니다.
→ 설정 가이드
→ Vercel Marketplace의 Ahrefs
Amazon CloudFront
Amazon Data Firehose 스트림을 통해 스탠다드 액세스 로그를 Ahrefs로 전달합니다.
→ 설정 가이드
Fastly
Fastly의 실시간 로그 스트리밍을 사용해 HTTPS 로깅 엔드포인트를 통해 요청 로그를 Ahrefs로 전송합니다.
→ 설정 가이드
먼저 Ahrefs에서 프로젝트를 열고 프로젝트 설정 → Bot Analytics로 이동하세요.
때로는 웹사이트를 방문하는 봇이 실제와 다른 이름/사용자 에이전트(User Agent)를 선언하기도 합니다(예: Googlebot인 척하지만 실제로는 Google에서 온 것이 아닌 봇). 봇 애널리틱스는 봇을 검증하고, 검증에 실패한 봇에 플래그를 표시합니다.
각 봇은 서로 독립적인 두 가지 소스를 사용해 검증합니다:
알려진 봇 IP 범위: 공개 엔드포인트(Google, Bing, Anthropic 등)에서 가져옵니다. 방문자 IP가 자신이 주장하는 봇에 속하는지 확인합니다.
Cloudflare에서 검증한 봇: IP 범위를 알 수 없는 봇에 대한 대체 수단입니다.
봇 애널리틱스는 검증된 봇으로 알려진 목록의 봇이라고 주장하지만 두 검증을 모두 통과하지 못한 방문자를 스푸핑된 것으로 플래그 처리합니다. 스푸핑된 봇은 예를 들어 “Googlebot (spoofed)”처럼 주장한 이름 뒤에 “(spoofed)” 접미사가 붙은 상태로 유지되며, 새로운 스푸핑된 봇 카테고리로 이동합니다.
해당 카테고리로 필터링하여 스푸핑된 트래픽을 제외하거나 스푸핑된 봇만 볼 수 있습니다.
참고: 봇 애널리틱스는 지원되는 두 가지 검증 소스(알려진 봇 IP 범위 및 Cloudflare에서 검증한 봇) 중 최소 하나가 있을 때만 봇이 가짜인지 여부를 검증할 수 있습니다. 진짜인지 가짜인지 판단할 수 없는 봇은 봇 애널리틱스에서 주장한 이름을 그대로 유지하며 스푸핑된 것으로 표시되지 않습니다.
IP 범위와 검증 방법을 더 추가함에 따라 검증된 봇 커버리지가 확대될 것입니다.
봇 카테고리는 무엇인가요?
Bot Analytics는 감지된 모든 봇을 아래 12개 카테고리로 분류합니다.
카테고리 | 설명 |
모니터링 | 웹사이트가 온라인 상태인지, 정상적으로 작동하는지 확인하는 봇(예: 업타임 모니터) |
AI 어시스턴트 | ChatGPT와 Perplexity 같은 AI 플랫폼에서 답변을 생성하기 위해 콘텐츠를 크롤링하는 봇 |
AI 검색 | AI 기반 검색 엔진을 구동하는 크롤러 |
AI 크롤러 | AI 모델을 학습시키거나 AI 데이터셋을 구축하기 위해 웹 콘텐츠를 수집하는 봇 |
검색 엔진 | 페이지를 색인하기 위해 Google, Bing 및 기타 검색 엔진에서 사용하는 크롤러 |
SEO 도구 | Ahrefs 같은 SEO 플랫폼에서 사이트를 분석하는 봇 |
소셜 미디어 | 링크 미리보기를 가져오는 Facebook 및 Twitter/X 같은 플랫폼의 봇 |
서비스 에이전트 | 서비스 또는 플랫폼을 대신해 자동화된 작업을 수행하는 봇 |
보안 | 취약점이나 악성코드를 탐지하기 위해 스캔하는 봇 |
피드 페처 | 콘텐츠를 배포하기 위해 RSS 또는 Atom 피드를 가져오는 봇 |
광고 | 게재 위치를 검증하고 클릭 수 사기를 탐지하는 광고 네트워크의 봇 |
기타 | 위 범주에 속하지 않는 모든 봇 |