1. Meningkatkan kecepatan crawl
Verifikasi kepemilikan adalah langkah yang diperlukan untuk meningkatkan kecepatan tetapi pada dasarnya, tidak meningkatkan kecepatan. Sebagai gantinya, ini memungkinkan Anda Crawl lebih banyak URL per menit (dengan kata lain, ini hanya berlaku jika Anda adalah pemiliknya.)
Dari pengaturan Proyek klik "Verifikasi kepemilikan".
Anda dapat menggunakan metode verifikasi berikut:
Google Search Console: Hubungkan Akun Google Anda dan izinkan akses ke data Search Console Anda. Jika website Anda diverifikasi di Google Search Console Anda, maka akan otomatis diverifikasi di Ahrefs.
Upload file HTML: Unduh file verifikasi, kemudian upload ke folder root domain Anda. Anda tidak perlu mengubah atau mengganti nama file dengan cara apapun.
Record TXT: Tambahkan record teks ke pengaturan DNS domain Anda.
Tag HTML: Tambahkan meta tag ke kode homepage website Anda.
Catatan: Untuk situs di Wordpress, silakan lihat instruksi spesifik di sini untuk verifikasi menggunakan tag HTML.
2. Lanjutkan ke "Pengaturan crawl" di bawah Site Audit untuk mengatur pengaturan kecepatan crawl untuk domain terverifikasi Anda. Semakin banyak permintaan yang kami kirim, semakin cepat kecepatan crawl.
Misalnya: Untuk website yang diverifikasi, Anda dapat mengatur maksimal URL menjadi 30.000, yang merupakan batasnya.
2. Mengoptimalkan/mengurangi halaman yang di-crawl
Jika situs Anda memiliki 500k URL, crawl semua halaman ini akan memakan waktu lama meskipun Anda memverifikasi kepemilikan untuk meningkatkan kecepatan crawl.
Dalam banyak kasus, opsi lain adalah mengoptimalkan (mengurangi) jumlah halaman yang di-crawl sehingga Anda menerima data penting dari crawl Anda lebih cepat.
Misalnya, jika Anda menjalankan toko e-commerce besar dengan ribuan halaman produk yang dibuat dan dihapus setiap hari, Anda dapat menggunakan opsi seperti "Hapus parameter URL" untuk menghindari crawl halaman ini dan fokus pada data yang penting.