💡 Panduan lengkap tentang bagaimana Ahrefs melakukan Crawl dan mengindeks web dapat ditemukan di panduan "Cara menggunakan Ahrefs" di academy kami.
Secara sederhana, web Crawler (atau spider) adalah program komputer yang menjelajahi web secara bertahap.
Ini dimulai dengan mengindeks daftar awal URL (yang disebut "seeds").
Ketika menemukan semua hyperlink yang terkandung dalam seeds, ia menambahkannya ke daftar URL yang akan diindeks selanjutnya. Setelah ditambahkan, Crawler mengunjungi halaman-halaman baru tersebut dan mengulangi seluruh proses lagi.
AhrefsBot kami melakukan Crawl web dengan ketat mengikuti aturan dari robots.txt. Detail lebih lanjut di sini: https://ahrefs.com/robot