Ahrefs menjalankan web crawler kami sendiri, atau bot yang dikenal sebagai AhrefsBot. Crawler kami mengunjungi jutaan situs web setiap hari untuk mengambil informasi dan menyimpannya dalam catatan kami. Dengan kata lain, inilah cara Ahrefs mendapatkan semua datanya dari seluruh web.
Faktor yang memengaruhi apakah/kapan halaman di-crawl
Prioritas Crawl: secara umum, semakin “populer” suatu situs (yaitu Peringkat Domain (DR), memiliki lebih banyak Domain Rujukan berkualitas), semakin besar kemungkinan domain tersebut akan di-Crawl. Domain yang kurang “populer” (yaitu DR yang lebih rendah, memiliki lebih sedikit Domain Rujukan berkualitas) akan di-Crawl sebagian.
Kecepatan crawling/pembaruan: ini tergantung pada Peringkat URL (UR) suatu halaman. Halaman dengan UR tinggi lebih mungkin diindeks dan diperbarui lebih sering daripada halaman dengan UR rendah.
Ketika bot kami belum melakukan crawl pada situs target, Anda akan melihat pesan berikut saat memeriksa laporan Page inspect: No HTML code snapshot found for this page.
Karena halaman target belum di-crawl, data on-page seperti Title, konten halaman, kode sumber HTML dll tidak tersedia dalam database kami. Demikian pula, tautan keluar dari halaman ini juga tidak akan ditangkap.
Jika domain tersebut baru, mohon berikan waktu pada Crawler kami untuk mengambil situs web baru tersebut (1-2 minggu umumnya merupakan perkiraan yang baik). Hal yang sama berlaku untuk halaman baru yang baru saja dibuat.
Catatan: Laporan Backlinks akan tersedia jika kami melakukan crawl pada situs lain yang memiliki backlinks ke situs target.
Ada kemungkinan juga bahwa domain tersebut mungkin memblokir kami untuk melakukan crawl. Untuk mengetahui apakah pengaturan situs web memblokir Crawler kami, masukkan URL ke halaman Crawler kami: https://ahrefs.com/robot
Untuk memperbaikinya, silakan baca artikel ini: https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages