Apa itu Bot Analytics?
Analitik Bot membantu Anda memantau bot mana saja yang mengunjungi situs web Anda, seberapa sering mereka berkunjung, dan halaman mana yang mereka crawl. Fitur ini melacak bot dalam 12 kategori, termasuk asisten AI, mesin pencari, alat SEO, dan lainnya. Analitik Bot gratis selama beta.
Untuk informasi selengkapnya tentang cara kerjanya dan cara menyiapkannya, lihat dokumentasi teknisnya di sini.
Mengapa memantau lalu lintas bot?
Porsi besar traffic yang masuk ke website Anda berasal dari bot, dengan Cloudflre memperkirakan bahwa 53% traffic crawler adalah upaya yang sia-sia.
Memantau traffic bot di website Anda dapat membantu Anda:
Menetapkan aturan pembatasan laju (rate-limiting) yang tepat untuk mengelola bot jahat dan menjaga website Anda tetap stabil
Mengetahui crawler AI (seperti ChatGPT dan Perplexity) yang mengunjungi situs Anda untuk mengumpulkan konten sebelum mengutipnya dalam jawaban yang dihasilkan AI
Melihat data traffic bot di laporan
Bot Analytics memiliki enam laporan, masing-masing memberikan tampilan yang berbeda tentang traffic bot Anda.
Ringkasan: ringkasan tingkat atas dari semua aktivitas bot di seluruh situs Anda
Bot: traffic yang dipecah berdasarkan bot masing-masing (misalnya Googlebot, GPTBot, ClaudeBot)
Kategori: traffic yang dikelompokkan berdasarkan jenis bot, seperti Search Engine, AI Crawler, atau Alat SEO
Halaman yang di-crawl: halaman tertentu di situs Anda yang telah dikunjungi bot
Kode Status: Lihat halaman dan kunjungan berdasarkan kode status yang dialami bot saat mengunjungi halaman mana pun di situs web Anda
Struktur Situs: Lihat data traffic bot untuk halaman di situs Anda, yang diatur berdasarkan hierarki struktur situs
Setiap laporan menyertakan diagram garis yang dapat Anda konfigurasi sesuai kebutuhan analisis Anda.
Alihkan antara tampilan Absolut (jumlah permintaan mentah) dan Relatif (persentase bagian). Opsi terakhir memudahkan Anda untuk membandingkan halaman atau bot secara langsung satu sama lain.
Atur granularitas waktu ke per jam, harian, mingguan, atau bulanan, lalu gunakan pemilih tanggal kustom untuk membandingkan periode waktu yang berbeda.
Pemfilteran di laporan
Anda dapat memfilter data berdasarkan nama bot, kategori, URL halaman, atau metrik seperti klik, dll. Beberapa filter dapat ditumpuk untuk menyusun laporan yang Anda perlukan.
Ada juga tombol “Bot AI” untuk langsung memfilter semuanya agar hanya menampilkan traffic bot AI. Fitur praktis ini memungkinkan Anda dengan cepat melihat bagaimana bot AI melakukan crawl pada situs Anda, dan halaman mana yang paling sering mereka kunjungi.
Mengekspor data traffic bot
Ekspor data traffic bot Anda dalam format .csv atau sebagai Google Sheet.
Memeriksa konten halaman
Di laporan apa pun yang mencantumkan halaman, arahkan kursor ke ikon kaca pembesar di sebelah URL halaman untuk membuka Page Inspect dan melihat konten halaman tersebut. Anda juga dapat melihat bagaimana halaman tersebut berubah dari waktu ke waktu, yang berguna untuk memeriksa apa yang sebenarnya dilihat bot saat melakukan crawl.
Data Page Inspect berasal dari AhrefsBot.
Bagaimana cara menyiapkan Bot Analytics?
Pertama, buka proyek Anda di Ahrefs, lalu buka Pengaturan Proyek → Bot Analytics.
Cloudflare
Metode 1: Cloudflare Logpush
Cloudflare Logpush mengirim log permintaan HTTP situs Anda ke Ahrefs secara otomatis. Ini adalah opsi yang lebih efisien untuk situs dengan traffic tinggi. Metode ini memerlukan paket Cloudflare Enterprise.
Selanjutnya, pilih metode integrasi Anda: Cloudflare Logpush atau Cloudflare Worker
Metode 2: Cloudflare Worker
Cloudflare Worker menjalankan skrip kecil pada setiap permintaan dan mengirim datanya ke Ahrefs. Metode ini dapat digunakan dengan paket Cloudflare apa pun, termasuk paket gratis.
Vercel
Hubungkan tim Vercel Anda ke workspace Ahrefs, lalu aktifkan Bot Analytics untuk proyek Anda. Ahrefs mencocokkan proyek berdasarkan domain dan membuat Log Drain secara otomatis.
→ Panduan penyiapan
→ Ahrefs di Vercel Marketplace
Amazon CloudFront
Teruskan log akses standard ke Ahrefs melalui stream Amazon Data Firehose.
Fastly
Setelah token Anda disiapkan dengan benar, konfigurasi worker Anda seharusnya terlihat seperti ini:
Bagaimana Bot Analytics memverifikasi bot asli dan bot palsu
Terkadang, bot yang mengunjungi situs web Anda dapat menyatakan nama / User Agent yang berbeda dari identitasnya yang sebenarnya (misalnya bot yang berpura-pura menjadi Googlebot, tetapi sebenarnya bukan berasal dari Google). Bot Analytics memverifikasi bot dan menandai yang gagal.
Setiap bot diverifikasi menggunakan dua sumber yang independen:
Rentang IP bot yang dikenal, diambil dari titik akhir publik (Google, Bing, Anthropic, dan lainnya). Kami memeriksa apakah IP pengunjung memang milik bot yang diklaimnya.
Bot terverifikasi Cloudflare, sebagai cadangan untuk bot apa pun yang rentang IP-nya tidak kami ketahui.
Bot Analytics menandai pengunjung sebagai bot palsu ketika pengunjung tersebut mengklaim sebagai bot dari daftar bot terverifikasi yang kami kenal, tetapi gagal pada kedua pemeriksaan. Bot palsu tetap memakai nama yang diklaim dengan sufiks “(palsu)”, misalnya “Googlebot (palsu)”, lalu dipindahkan ke kategori baru Bot Palsu.
Anda dapat memfilter berdasarkan kategori tersebut untuk mengecualikan traffic palsu atau hanya melihat bot palsu.
Catatan: Bot Analytics hanya dapat memverifikasi apakah bot itu palsu atau tidak ketika kami memiliki setidaknya salah satu dari dua sumber verifikasi yang didukung (rentang IP bot yang dikenal dan bot terverifikasi Cloudflare). Untuk bot yang tidak dapat kami pastikan asli atau palsu, bot tersebut akan tetap menggunakan nama yang diklaimnya di Bot Analytics dan tidak akan ditandai sebagai bot palsu.
Cakupan bot terverifikasi akan bertambah seiring kami menambahkan lebih banyak rentang IP dan metode verifikasi.
Apa saja kategori bot?
Bot Analytics mengelompokkan semua bot yang terdeteksi ke dalam 12 kategori berikut.
Kategori | Deskripsi |
Pemantauan | Bot yang memeriksa apakah situs web Anda online dan berfungsi dengan benar (misalnya pemantau uptime) |
Asisten AI | Bot dari platform AI seperti ChatGPT dan Perplexity yang melakukan crawl konten untuk menghasilkan jawaban |
Pencarian AI | Crawler yang menjadi penggerak mesin pencari berbasis AI |
Crawler AI | Bot yang mengumpulkan konten web untuk melatih model AI atau membangun dataset AI |
Mesin Pencari | Crawler dari Google, Bing, dan mesin pencari lainnya yang mengindeks halaman Anda |
Alat SEO | Bot dari platform SEO seperti Ahrefs yang menganalisis situs Anda |
Media Sosial | Bot dari platform seperti Facebook dan Twitter/X yang mengambil pratinjau tautan |
Agen Layanan | Bot yang menjalankan tugas otomatis atas nama layanan atau platform |
Keamanan | Bot yang memindai kerentanan atau malware |
Feed Fetcher | Bot yang mengambil feed RSS atau Atom untuk menyindikasi konten Anda |
Periklanan | Bot dari jaringan iklan yang memverifikasi penempatan dan mendeteksi penipuan klik |
Lainnya | Bot apa pun yang tidak termasuk dalam kategori di atas |