Ahrefs menjalankan Crawler web kami sendiri (dikenal sebagai AhrefsBot) yang mengunjungi jutaan situs web untuk mengambil informasi dan menyimpannya dalam catatan kami. Begini cara Ahrefs membangun indeks link yang besar.
AhrefsBot secara ketat menghormati robots.txt, baik aturan disallow maupun allow. Dengan demikian, dimungkinkan untuk mengontrol perilaku AhrefsBot dengan memodifikasi robots.txt.
Sejauh yang kami ketahui, situs seperti Quora, LinkedIn dan Slideshare memiliki salah satu dari:
mencegah kami melakukan crawling, atau
hanya mengizinkan crawling sebagian dari situs mereka.
Ini adalah alasan utama mengapa backlinks dari situs-situs ini (dofollow/nofollow) tidak ditampilkan dalam laporan backlinks Ahrefs.
Untuk file PDF, AhrefsBot tidak melakukan crawl untuk link, meta-data, dan sebagainya.