Apa itu Analitik Bot?
Analitik Bot membantu Anda memantau bot mana saja yang mengunjungi situs web Anda, seberapa sering mereka berkunjung, dan halaman mana yang mereka crawl. Fitur ini melacak bot dalam 12 kategori, termasuk asisten AI, mesin pencari, alat SEO, dan lainnya.
Analitik Bot gratis selama beta.
Mengapa memantau lalu lintas bot?
Porsi besar traffic yang masuk ke website Anda berasal dari bot, dengan Cloudflre memperkirakan bahwa 53% traffic crawler adalah upaya yang sia-sia.
Memantau traffic bot di website Anda dapat membantu Anda:
Menetapkan aturan pembatasan laju (rate-limiting) yang tepat untuk mengelola bot jahat dan menjaga website Anda tetap stabil
Mengetahui crawler AI (seperti ChatGPT dan Perplexity) yang mengunjungi situs Anda untuk mengumpulkan konten sebelum mengutipnya dalam jawaban yang dihasilkan AI
Melihat data traffic bot di laporan
Bot Analytics memiliki empat laporan, masing-masing memberikan tampilan berbeda atas traffic bot Anda.
Ringkasan: ringkasan tingkat atas dari semua aktivitas bot di seluruh situs Anda
Bot: traffic yang dipecah berdasarkan bot masing-masing (misalnya Googlebot, GPTBot, ClaudeBot)
Kategori: traffic yang dikelompokkan berdasarkan jenis bot, seperti Search Engine, AI Crawler, atau Alat SEO
Halaman yang di-crawl: halaman tertentu di situs Anda yang telah dikunjungi bot
Setiap laporan menyertakan diagram garis yang dapat Anda konfigurasi sesuai kebutuhan analisis Anda.
Alihkan antara tampilan Absolut (jumlah permintaan mentah) dan Relatif (persentase bagian). Opsi terakhir memudahkan Anda untuk membandingkan halaman atau bot secara langsung satu sama lain.
Atur granularitas waktu ke per jam, harian, mingguan, atau bulanan, lalu gunakan pemilih tanggal kustom untuk membandingkan periode waktu yang berbeda.
Pemfilteran di laporan
Anda dapat memfilter data berdasarkan nama bot, kategori, URL halaman, atau metrik seperti klik, dll. Beberapa filter dapat ditumpuk untuk menyusun laporan yang Anda perlukan.
Ada juga tombol “Bot AI” untuk langsung memfilter semuanya agar hanya menampilkan traffic bot AI. Fitur praktis ini memungkinkan Anda dengan cepat melihat bagaimana bot AI melakukan crawl pada situs Anda, dan halaman mana yang paling sering mereka kunjungi.
Mengekspor data traffic bot
Ekspor data traffic bot Anda dalam format .csv atau sebagai Google Sheet.
Bagaimana cara memeriksa konten sebuah halaman?
Di laporan apa pun yang mencantumkan halaman, arahkan kursor ke ikon kaca pembesar di sebelah URL halaman untuk membuka Page Inspect dan melihat konten halaman tersebut. Anda juga dapat melihat bagaimana halaman tersebut berubah dari waktu ke waktu, yang berguna untuk memeriksa apa yang sebenarnya dilihat bot saat melakukan crawl.
Data Page Inspect berasal dari AhrefsBot.
Bagaimana cara menyiapkan Bot Analytics?
Bot Analytics memerlukan integrasi Cloudflare untuk mengumpulkan data trafik bot. Fitur ini bekerja secara terpisah dari Web Analytics dan mengumpulkan data dari sisi server, sehingga Anda tidak memerlukan skrip pelacakan JavaScript di situs Anda.
Pertama, buka proyek Anda di Ahrefs, lalu buka Pengaturan Proyek → Bot Analytics.
Selanjutnya, pilih metode integrasi Anda: Cloudflare Logpush atau Cloudflare Worker
Metode 1: Cloudflare Logpush
Cloudflare Logpush mengirim log permintaan HTTP situs Anda ke Ahrefs secara otomatis. Ini adalah opsi yang lebih efisien untuk situs dengan trafik tinggi. Metode ini memerlukan paket Cloudflare Enterprise.
Metode 2: Cloudflare Worker
Cloudflare Worker menjalankan skrip kecil pada setiap permintaan dan mengirim datanya ke Ahrefs. Metode ini dapat digunakan dengan paket Cloudflare apa pun, termasuk paket gratis.
Konfigurasikan token kustom Anda (Cloudflare Worker)
Untuk menggunakan metode Cloudflare Worker, Anda perlu membuat token API kustom di Cloudflare dengan izin yang tepat.
Saat membuat token, pastikan untuk mengisi Zone (domain) Anda di bagian Zone Resources. Token tidak dapat disimpan tanpa langkah ini.
Setelah token Anda disiapkan dengan benar, konfigurasi worker Anda seharusnya terlihat seperti ini:
Apa saja kategori bot?
Bot Analytics mengelompokkan semua bot yang terdeteksi ke dalam 12 kategori berikut.
Kategori | Deskripsi |
Pemantauan | Bot yang memeriksa apakah situs web Anda online dan berfungsi dengan benar (misalnya pemantau uptime) |
Asisten AI | Bot dari platform AI seperti ChatGPT dan Perplexity yang melakukan crawl konten untuk menghasilkan jawaban |
Pencarian AI | Crawler yang menjadi penggerak mesin pencari berbasis AI |
Crawler AI | Bot yang mengumpulkan konten web untuk melatih model AI atau membangun dataset AI |
Mesin Pencari | Crawler dari Google, Bing, dan mesin pencari lainnya yang mengindeks halaman Anda |
Alat SEO | Bot dari platform SEO seperti Ahrefs yang menganalisis situs Anda |
Media Sosial | Bot dari platform seperti Facebook dan Twitter/X yang mengambil pratinjau tautan |
Agen Layanan | Bot yang menjalankan tugas otomatis atas nama layanan atau platform |
Keamanan | Bot yang memindai kerentanan atau malware |
Feed Fetcher | Bot yang mengambil feed RSS atau Atom untuk menyindikasi konten Anda |
Periklanan | Bot dari jaringan iklan yang memverifikasi penempatan dan mendeteksi penipuan klik |
Lainnya | Bot apa pun yang tidak termasuk dalam kategori di atas |