Terkadang saat memeriksa situs Anda di Site Explorer Overview, Anda mungkin melihat bahwa metrik Halaman yang di-crawl adalah 0:
Ada berbagai alasan mengapa kami tidak memiliki halaman dari situs web ini dalam indeks kami.
Pertama, periksa status robots.txt Anda di pemeriksa robot kami: https://ahrefs.com/robot
Sekarang, mari kita analisis beberapa alasan yang mungkin mencegah AhrefsBot melakukan crawl pada halaman situs Anda dan memberikan solusi yang memungkinkan.
Aturan robots.txt melarang crawl
Situs web target memblokir bot kami dari crawling. Silakan hapus dua baris berikut dari file robots.txt di server Anda:
User-agent: AhrefsBot
Disallow: /
File robots.txt tidak dapat diakses (biasanya mengembalikan 404 Kesalahan)
User-agent AhrefsBot mendapat 404 Kesalahan saat mencoba membaca robots.txt situs. 404 Kesalahan untuk robots.txt berarti crawl diizinkan, tetapi kemudian semua halaman juga mengalami 404 Kesalahan. Jadi, data terkait on-page seperti Title, Content dan kode sumber HTML-nya tidak dapat diakses.
Silakan tambahkan dua baris berikut ke dalam file robots.txt di server Anda:
User-agent: AhrefsBot
Allow: /
Error 403 Forbidden: Blokir IP dalam konfigurasi web server
Situs web target memblokir crawler kami dari mengaksesnya di level server. Silakan tambahkan alamat IP kami dan User Agent AhrefsBot ke whitelist server situs web Anda.
Daftar IP kami:
Error 406 Not Acceptable: diblokir oleh user-agent dari firewall/plugin keamanan
Bot kami saat ini sedang diblokir dan tidak dapat menjangkau situs web Anda. Ini bisa disebabkan oleh berbagai alasan seperti: konfigurasi webserver Anda, firewall yang dikelola oleh penyedia hosting Anda, perlindungan CDN Anda dll. Beberapa contoh yang dikenal meliputi: ModSecurity, Sucuri, Cloudflare.
Tidak ada yang bisa kami lakukan untuk menyelesaikan masalah ini di sisi kami; Anda perlu mengambil tindakan untuk memperbaiki ini di sisi Anda.
Jika Anda tidak tahu cara memperbaiki masalah ini, silakan hubungi Webmaster, perusahaan hosting, atau CDN Anda untuk membuka blokir bot kami. Jika chat support mereka menggunakan sistem tiket, gunakan "Tech Support" atau kategori terkait yang paling dekat.
Silakan gunakan template berikut:
---------------
Halo,
Saya mengelola domain <masukkan url di sini> dan saya ingin meminta agar AhrefsBot dibuka blokirnya untuk melakukan crawl pada domain saya. Saya ingin bot ini melakukan crawl pada situs saya dan fungsi ini saat ini tidak diizinkan oleh <masukkan nama firewall di sini>. Silakan temukan informasi tentang AhrefsBot Crawler di sini: https://ahrefs.com/robot
Terima kasih banyak.
----------------