Ketika Anda membuat proyek baru di Ahrefs, Anda mungkin mendapat pesan error yang mengatakan bahwa salah satu atau kedua bot kami (AhrefsBot dan AhrefsSiteAudit bot) tidak dapat melakukan crawl pada website target Anda.

Ini berarti kami tidak dapat mengakses website Anda karena masalah di luar kendali kami. Sebagai pemilik website, ada beberapa cara untuk mengatasi masalah ini dan memberikan akses kepada kami.

Berikut adalah beberapa masalah umum:

Jika Anda melihat pesan error di bawah ini atau pesan yang menyebutkan "Aturan Robots.txt melarang crawl", robots.txt Anda mungkin memblokir kami untuk melakukan crawl.

Untuk memeriksa hal ini, masukkan website Anda ke dalam robot checker kami: https://ahrefs.com/robot/site-audit
​

Pastikan Anda tidak memiliki aturan disallow pada file robots.txt Anda untuk AhrefsSiteAudit atau untuk AhrefsBot

Anda juga dapat menambahkan baris berikut ke dalam file robots.txt di server Anda:

User-agent: AhrefsSiteAudit
Allow: /

User-agent: AhrefsBot
Allow: /

Jika Anda melihat pesan-pesan di atas (atau variasinya), silakan tambahkan alamat IP kami ke whitelist server Anda. Kesalahan ini biasanya terjadi karena masalah atau konfigurasi di tingkat server yang memblokir atau memperlambat Crawler Ahrefs. Penyebab umum meliputi plugin keamanan, firewall, penyedia hosting, CDN (misalnya Cloudflare, Sucuri, ModSecurity), kesalahan konfigurasi server, atau aturan pembatasan laju (rate limiting).

IP kami: https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges. Pastikan semua rentang IP Ahrefs telah dimasukkan ke whitelist di server, firewall, CDN, dan alat keamanan apa pun agar akses tidak terganggu.

Masalah lain yang mungkin terjadi adalah penyedia hosting Anda memblokir kami. Dalam kasus ini, silakan hubungi mereka untuk mengatasi masalah tersebut. Jika masalah masih berlanjut, hubungi penyedia hosting Anda untuk memastikan mereka tidak memblokir Ahrefs dan bahwa semua IP serta user agent yang diperlukan telah diizinkan.

Anda juga harus memeriksa apakah Anda menggunakan plugin yang dapat memblokir kami dan menyebabkan error ini. Misalnya, plugin Incapsula memblokir kami. Selain itu, tinjau konfigurasi keamanan seperti firewall (misalnya, ModSecurity, Safeguard), CDN (misalnya, Cloudflare, Sucuri), serta skrip perlindungan DDoS yang mungkin memblokir atau membatasi laju Crawler Ahrefs.

Pesan error ini biasanya berarti kami diblokir oleh firewall atau plugin situs Anda; dan IP kami dan user-agent (AhrefsSiteAudit dan/atau AhrefsBot) perlu dimasukkan ke dalam whitelist di sana.

Jika Anda melihat pesan error ini, bisa jadi karena alasan seperti: konfigurasi webserver Anda, firewall yang dikelola oleh penyedia hosting Anda, perlindungan CDN Anda, dll.

Pesan error mungkin memberikan petunjuk tentang apa penyebabnya. Beberapa contoh yang dikenal termasuk: ModSecurity, Sucuri, Cloudflare.

Tidak ada yang bisa kami lakukan untuk mengatasi masalah ini dari sisi kami. Anda perlu mengambil tindakan untuk memperbaiki ini dari sisi Anda.

Jika Anda tidak tahu cara memperbaiki masalahnya, silakan hubungi webmaster, perusahaan hosting, atau CDN Anda untuk membuka blokir bot kami. Jika chat support mereka menggunakan sistem tiket, gunakan "Tech Support" atau kategori terkait yang paling dekat. Setelah menerapkan perubahan di atas, jalankan Crawl baru di Ahrefs Site Audit untuk memverifikasi bahwa error sudah teratasi.

Silakan gunakan template berikut:

---------------

Halo,

Saya mengelola domain <masukkan url di sini> dan saya ingin meminta agar Ahrefsbot dibuka blokirnya. Saya ingin bot ini melakukan crawl pada situs saya dan fungsionalitas ini saat ini tidak diizinkan oleh <masukkan nama firewall di sini>. Ahrefsbot tidak memiliki karakteristik bot "buruk" – silakan lihat: https://ahrefs.com/robot

Terima kasih banyak.

----------------
​
Jika Anda tidak melihat masalah Anda dijelaskan di atas, atau hanya membutuhkan panduan tambahan, silakan hubungi tim support kami untuk bantuan.
​