Ketika Anda membuat proyek baru di Ahrefs, Anda mungkin mendapat pesan error yang mengatakan bahwa salah satu atau kedua bot kami (AhrefsBot dan AhrefsSiteAudit bot) tidak dapat melakukan crawl pada website target Anda.
Ini berarti kami tidak dapat mengakses website Anda karena masalah di luar kendali kami. Sebagai pemilik website, ada beberapa cara untuk mengatasi masalah ini dan memberikan akses kepada kami.
Berikut adalah beberapa masalah umum:
1. Aturan Robots.txt melarang crawl
Jika Anda melihat pesan error di bawah ini atau pesan yang menyebutkan "Aturan Robots.txt melarang crawl", robots.txt Anda mungkin memblokir kami untuk melakukan crawl.
Untuk memeriksa hal ini, masukkan website Anda ke dalam robot checker kami: https://ahrefs.com/robot/site-audit
Pastikan Anda tidak memiliki aturan disallow pada file robots.txt Anda untuk AhrefsSiteAudit atau untuk AhrefsBot
Anda juga dapat menambahkan baris berikut ke dalam file robots.txt di server Anda:
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Allow: /
2. IP Diblokir/Pengambilan robots.txt memakan waktu terlalu lama/Gagal terhubung ke server
Jika Anda melihat pesan di atas (atau variasinya), harap tambahkan IP kami ke dalam whitelist server.
Masalah lain yang mungkin terjadi adalah penyedia hosting Anda memblokir kami. Dalam kasus ini, silakan hubungi mereka untuk mengatasi masalah tersebut.
Anda juga harus memeriksa apakah Anda menggunakan plugin yang dapat memblokir kami dan menyebabkan error ini. Misalnya, plugin Incapsula memblokir kami.
3. Server HTTP mengembalikan error 403: "Forbidden"
Pesan error ini biasanya berarti kami diblokir oleh firewall atau plugin situs Anda; dan IP kami dan user-agent (AhrefsSiteAudit dan/atau AhrefsBot) perlu dimasukkan ke dalam whitelist di sana.
4. Error 406 Not Acceptable: Firewall
Jika Anda melihat pesan error ini, bisa jadi karena alasan seperti: konfigurasi webserver Anda, firewall yang dikelola oleh penyedia hosting Anda, perlindungan CDN Anda, dll.
Pesan error mungkin memberikan petunjuk tentang apa penyebabnya. Beberapa contoh yang dikenal termasuk: ModSecurity, Sucuri, Cloudflare.
Tidak ada yang bisa kami lakukan untuk mengatasi masalah ini dari sisi kami. Anda perlu mengambil tindakan untuk memperbaiki ini dari sisi Anda.
Jika Anda tidak tahu cara memperbaiki masalahnya, silakan hubungi webmaster, perusahaan hosting, atau CDN Anda untuk membuka blokir bot kami. Jika chat support mereka menggunakan sistem tiket, gunakan "Tech Support" atau kategori terkait yang paling dekat.
Silakan gunakan template berikut:
---------------
Halo,
Saya mengelola domain <masukkan url di sini> dan saya ingin meminta agar Ahrefsbot dibuka blokirnya. Saya ingin bot ini melakukan crawl pada situs saya dan fungsionalitas ini saat ini tidak diizinkan oleh <masukkan nama firewall di sini>. Ahrefsbot tidak memiliki karakteristik bot "buruk" – silakan lihat: https://ahrefs.com/robot
Terima kasih banyak.
----------------
Jika Anda tidak melihat masalah Anda dijelaskan di atas, atau hanya membutuhkan panduan tambahan, silakan hubungi tim support kami untuk bantuan.