一般的に、特定のクエリやクエリパターンに一致するURLをクロールするのを避けるために、「Remove URL Parameters」または除外ルールを使用することができます。
これらの設定にアクセスするには、プロジェクト設定 > サイト監査 > クロール設定にアクセスしてください。 注: このオプションは、新規プロジェクトの作成時にも使用できます。
含めるURLと除外する
パターンに一致するURLのみをクロール - サイトマップリンクの完全なURLに対して一致させます。
たとえば、/products - では、/products を含むURLのみが含まれます。
パターンに一致するURLをクロールしない - サイトマップリンクの完全なURLに対して一致させます。
たとえば、/news - は/news を含むURLを除外します。
*注意: これらのルールは 正規表現 を受け付けます。 こちらは、サイト監査の高度なフィルターで正規表現を使用する方法と、クロールの「含める」と「除外する」ルールを設定する方法についてのより詳細なヘルプ記事です。
URLパラメータの削除:
これをオンにすると、URLにパラメータがある場合、パラメータがない状態で削除してクロールします。
例:
ahrefs.com/help/?query=A
ahrefs.com/help/?query=B
ahrefs.com/help/?query=C
唯一のahrefs.com/help/ がクロールされます。
フォローしていないリンクを削除中:
SiteAudit > + 新規プロジェクト > クロール設定に移動します。
ここから「フォローしているリンク」のオンとオフを切り替えることができます。
インデックスページを削除しています:
私たちのボットは、クロールする前にページが noindex に設定されているかどうかを知ることができません。 クロール前にインデックスページを除外することはできません
手動でURLを除外するには、上記を参照してください。
*ページがnoindexに設定されている場合、Googleがクロールしているが、結果には表示されないことに注意してください。
クロールでnoindexページを除外することはできませんが、サイト監査レポートからnoindexデータを除外することはできます。