Jika Anda melihat crawl Site Audit Anda di Data Explorer mengembalikan kode status HTTP 400 (error Bad Request) untuk halaman utama Anda dan halaman resource memiliki Incapsula di URL, ini disebabkan oleh plugin Incapsula di website Anda.
User agent crawler kami diblokir oleh firewall Incapsula, mencegah kami mengakses konten halaman Anda.
Cari tahu bagaimana Anda dapat mengatur pengecualian keamanan dengan penyedia Anda agar kami dapat melakukan crawl website Anda:
Whitelist IP Ahrefs
Di panel kontrol Incapsula Anda, navigasikan ke:
Settings > Security > Whitelist Specific Sources
Silakan tambahkan rentang IP Ahrefs berikut: https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges
Scroll ke bagian atas halaman dan klik 'Save'
Whitelist user-agents kami
Pastikan Anda juga telah memasukkan user agents kami 'AhrefsBot' dan 'AhrefsSiteAudit' ke whitelist. Jika Anda memerlukan informasi lebih lanjut tentang AhrefsBot kami, silakan lihat halaman ini: https://ahrefs.com/robot.
Di panel kontrol Incapsula Anda, navigasikan ke:
Settings > Security > Bot Access Control
Klik 'Add exception' dan jendela Whitelist Rules for Bot Access akan muncul.
Di bawah menu dropdown, pilih 'User agent' dan masukkan 'AhrefsBot' dan 'AhrefsSiteAudit' kemudian klik 'Confirm'.
Error crawling biasanya berasal dari konfigurasi pengguna dan jika Anda masih menghadapi masalah dengan crawling website Anda setelah memasukkan yang disebutkan di atas ke whitelist, silakan periksa dengan penyedia Anda.