Secara umum, Anda dapat menggunakan "Remove URL Parameters" atau menggunakan aturan pengecualian untuk menghindari Crawl URL yang sesuai dengan kueri atau pola kueri tertentu.
Untuk mengakses pengaturan ini, buka Pengaturan Proyek > Site Audit > Crawl Settings. Catatan: Opsi ini juga tersedia saat membuat proyek baru.
Include dan Exclude URL
Hanya Crawl URL yang sesuai dengan pola - kami mencocokkan dengan URL lengkap dari link sitemap.
Misalnya, /products - akan hanya menyertakan URL yang mengandung /products di dalamnya.
Jangan Crawl URL yang sesuai dengan pola - kami mencocokkan dengan URL lengkap dari link sitemap.
Misalnya, /news - akan mengecualikan URL yang mengandung /news di dalamnya.
*Catatan: aturan ini menerima regular expression. Berikut adalah artikel bantuan yang lebih detail tentang cara menggunakan Regular Expressions di filter lanjutan Site Audit dan cara mengatur aturan "Include" dan "Exclude" untuk Crawl.
Menghapus Parameter URL:
Mengaktifkan ini berarti ketika URL memiliki parameter, kami menghapusnya dan melakukan Crawl tanpa parameter.
Contoh:
ahrefs.com/help/?query=A
ahrefs.com/help/?query=B
ahrefs.com/help/?query=C
Hanya ahrefs.com/help/ yang akan di-Crawl.
Menghapus link Nofollow:
Buka Site Audit > + New Proyek > Crawl Settings.
Dari sini, Anda dapat mengaktifkan dan menonaktifkan "Follow Nofollow links".
Menghapus halaman noindex:
Karena bot kami tidak dapat mengetahui apakah suatu halaman diatur sebagai noindex sebelum Crawl-nya, tidak mungkin untuk mengecualikan halaman noindex sebelum Crawl.
Silakan lihat di atas untuk mengecualikan URL secara manual.
*Harap dicatat bahwa ketika suatu halaman diatur sebagai noindex, halaman tersebut tetap di-Crawl oleh Google, tetapi tidak akan ditampilkan dalam hasil.
Meskipun Anda tidak dapat mengecualikan halaman noindex dalam Crawl Anda, Anda dapat mengecualikan data noindex dari laporan Site Audit Anda.
Silakan lihat: http://help.ahrefs.com/using-ahrefs/how-to-exclude-specific-pages-from-site-audit-reports