Konten
Site Audit dilakukan oleh crawler kami: AhrefsSiteAudit. Informasi lebih lanjut tentang bot khusus ini di sini.
Di Ahrefs, kami menyediakan opsi yang sangat komprehensif untuk cara Site Audit dapat dilakukan, memberikan Anda fleksibilitas penuh dan kontrol atas audit teknis situs Anda.
Gambaran umum setiap bagian pengaturan
Pertama, navigasi ke pengaturan Site Audit proyek Anda. Anda akan menemukan tiga bagian:
1. Jadwal
Ini mengonfigurasi kapan menjadwalkan Site Audit untuk Crawl website Anda secara teratur, serta frekuensi pelaksanaannya. Anda dapat menyesuaikan semuanya mulai dari hari, waktu, dan zona waktu di mana Site Audit dijadwalkan untuk Crawl:
Harap dicatat bahwa Crawl sebenarnya dapat dimulai kapan saja dalam jam yang dipilih. Jika Anda tidak ingin Site Audit berjalan secara otomatis, matikan "Run scheduled Crawls".
2. Sumber URL
Sumber URL menentukan "seed URLs", atau halaman awal yang akan coba dikunjungi Site Audit terlebih dahulu. Secara default, hanya opsi "Website" dan "Auto-detected sitemaps" yang akan dipilih, yang terbaik jika Anda hanya ingin Crawl semua halaman dalam cakupan Proyek ini.
💡 Klik toggle ini untuk informasi lebih lanjut tentang semua 5 opsi sumber URL atau Seed URL
💡 Klik toggle ini untuk informasi lebih lanjut tentang semua 5 opsi sumber URL atau Seed URL
Website. Mencentang kotak ini berarti Site Audit akan mengambil URL Proyek sebagai titik awal untuk Crawl. Yaitu, URL apa pun yang telah Anda masukkan untuk cakupan proyek ini:
Auto-detected sitemaps. Mencentang kotak ini berarti Site Audit akan mulai Crawl dari file sitemap yang terdaftar dalam file robots.txt website Anda. Jika file robots.txt tidak mencantumkan sitemap, maka akan memeriksa lokasi sitemap default:
<website Anda>.com/sitemap.xml
<website Anda>.com/sitemap_index.xml
Specific sitemaps. Mencentang kotak ini memungkinkan Anda mulai Crawl dari daftar kustom file sitemap. Kotak input untuk memasukkan URL sitemap akan terbuka setelah kotak dicentang:
Custom URL list Mencentang kotak ini memungkinkan Anda memasukkan daftar URL untuk Site Audit mulai Crawl, baik dalam kotak input yang disediakan atau upload dari file CSV/TXT. Batas ukuran file adalah 16Mb. Perhatikan bahwa hanya URL dalam cakupan Proyek yang akan Crawl.
Backlinks Mencentang kotak ini berarti Site Audit akan mulai Crawl website Anda dari URL yang memiliki Backlinks eksternal dalam database kami. Anda dapat memeriksa URL mana saja ini dengan memasukkan URL Proyek Anda ke Site Explorer dan memeriksa laporan Backlinks-nya:
3. Pengaturan crawling
Ada daftar opsi pengaturan yang cukup banyak yang tersedia di sini, masing-masing memiliki tooltip yang memberikan informasi lebih lanjut tentang setiap tooltip:
Klik setiap toggle di bawah untuk informasi lebih lanjut tentang setiap opsi pengaturan:
Pengaturan kecepatan
Pengaturan kecepatan
Mengontrol seberapa cepat Crawler "mengikuti" link di website Anda. Pada contoh di bawah ini, 30.000 URL di-Crawl per menit.
Pengaturan
Pengaturan
Dalam contoh pengaturan di bawah:
Crawler tidak akan merender javascript saat memeriksa halaman apa pun. Tetapi, ini akan memeriksa link gambar, CSS, dan javascript untuk masalah apa pun.Crawler juga akan mengklik link pada halaman non-canonical, dan mengklik link Nofollow.
Crawler akan sepenuhnya mengabaikan link apa pun di luar cakupan website Proyek Anda
Crawler juga akan memeriksa link persis seperti yang ditemukan, tanpa menghapus parameter URL
Batasan
Batasan
Bagian ini mengacu pada ambang batas di mana Crawler akan berhenti mencoba Crawl halaman baru. Dalam contoh di bawah, Crawler akan berhenti jika salah satu batasan tercapai:
10.000 halaman di-Crawl
Crawl membutuhkan 48 jam
Dan halaman berikut akan diabaikan:
Lebih dalam dari 16 level dari seed
Lebih dari 16 folder dalam
Memiliki URL lebih panjang dari 2048 karakter
Memiliki lebih dari 12 parameter query URL
Instruksi robots
Instruksi robots
Di bagian ini, Anda dapat menginstruksikan Crawler untuk mengabaikan robots.txt dan mengubah user agent dari Desktop ke Mobile. String user agent lengkap untuk keduanya dapat ditemukan di halaman AhrefsSiteAudit sendiri.
Fitur ini hanya tersedia untuk proyek yang terverifikasi. Ini berguna untuk mengaudit bagian website yang mungkin tidak diizinkan untuk Crawl oleh bot.
Autentikasi
Autentikasi
Fitur ini tersedia untuk pelanggan Advanced dan lebih tinggi. Jika website Anda dilindungi sandi dengan autentikasi HTTP, Anda dapat mengaktifkan toggle dan memasukkan sandi untuk digunakan Crawler kami saat Crawl website.
PageSpeed Insights
PageSpeed Insights
PageSpeed Insights (PSI) membantu memberikan skor kecepatan dan pengalaman pengguna dari halaman web. Site Audit akan menandai halaman mana pun yang memiliki skor PSI rendah. Anda perlu memasukkan API dari Google untuk menggunakan fitur ini.
Sertakan dan kecualikan URL
Sertakan dan kecualikan URL
Gunakan ini jika Anda ingin Crawl halaman yang sangat spesifik, atau menghindari Crawl halaman tertentu dengan menggunakan ekspresi regex. Lihat artikel ini untuk informasi lebih lanjut tentang cara menggunakan regex, dan beberapa contoh yang dapat Anda coba.
Harap dicatat bahwa hanya ekspresi regex yang akan diterima. Jika data yang dimasukkan ke dalam kotak tidak membentuk ekspresi regex yang valid, maka akan diabaikan. Harap juga jangan masukkan baris kosong dalam kotak.
Aturan penulisan ulang URL
Aturan penulisan ulang URL
Anda dapat melihat contoh cara menggunakan field ini (terutama dengan ekspresi regex) di sini.
Pertanyaan yang sering diajukan
Saya baru mengenal Site Audit. Pengaturan mana yang harus saya gunakan?
Jika Anda ingin Crawl website Anda sepenuhnya, Anda dapat membiarkan pengaturan default seperti apa adanya. Kami merekomendasikan agar toggle "Execute Javascript" dinyalakan jika website Anda banyak menggunakan javascript untuk menghasilkan konten di halaman Anda. Jika Anda masih tidak yakin, Anda dapat menghubungi tim dukungan kami melalui email atau melalui live chat.
Saya membuat perubahan pada pengaturan Site Audit tetapi tidak ada yang berubah dalam laporan Site Audit saya. Mengapa?
Setiap perubahan pada pengaturan Proyek yang disimpan akan hanya berlaku untuk Crawl Site Audit baru. Crawl Site Audit yang telah lalu, atau yang sedang berlangsung, tidak akan terpengaruh.
Data di Site Explorer untuk website saya salah/tidak lengkap. Apakah karena saya tidak melakukan Crawl website dengan benar di Site Audit?
Crawl di Site Audit tidak memperbarui data apa pun di Site Explorer. Data Site Explorer diisi oleh AhrefsBot, Crawler yang berbeda dari yang untuk Site Audit. Jika website masih baru, mungkin butuh waktu untuk Crawler kami mencapainya. Selain itu, harap periksa website Anda di sini untuk melihat apakah ada masalah dengan Crawler kami yang mengunjungi website Anda.