Crawler Web kami, bernama AhrefsBot melakukan crawl pada situs web Anda dengan mencatat tautan keluar dan menambahkannya ke basis data kami. Bot ini akan secara berkala melakukan crawl ulang pada situs web Anda untuk memeriksa status terkini dari tautan yang sebelumnya ditemukan.
Crawler tidak menghasilkan URL, hanya mengikuti tautan yang ditemukan di Internet dan selalu menggunakan GET (yang menurut spesifikasi HTTP tidak boleh memicu tindakan merusak di sisi server).
AhrefsBot sangat menghormati robots.txt, baik aturan disallow maupun allow.
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file robots.txt Anda:
User-agent: AhrefsBot
Crawl-Delay: [nilai]
Nilai Crawl-Delay dalam detik.
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file robots.txt di server Anda:
User-agent: AhrefsBot
Disallow: /
Harap dicatat bahwa AhrefsBot mungkin membutuhkan waktu untuk mengambil perubahan dalam file robots.txt Anda. Ini akan dilakukan sebelum setiap crawl terjadwal berikutnya.