En général, vous pouvez utiliser « Supprimer les paramètres d'URL » ou utiliser des règles d'exclusion pour éviter d'explorer les URL correspondant à des requêtes spécifiques ou à des motifs de requêtes.
Pour accéder à ces paramètres, allez dans Paramètres du projet > Audit du site > Paramètres Crawl. Remarque : Cette option est également disponible lors de la création d'un nouveau projet.
Inclure et Exclure les URLs
Seulement les URL d'exploration correspondant au modèle - nous faisons correspondre avec l'URL complète des liens du sitemap.
Par exemple, /products - inclura uniquement les URL avec /products dedans.
Ne pas explorer les URL correspondant au modèle - nous faisons correspondre l'URL complète des liens du sitemap.
Par exemple, /news - exclura les URLs avec /news dedans.
*Remarque : ces règles acceptent l'expression régulière . Voici un article d'aide plus détaillé sur comment utiliser des expressions régulières dans les filtres avancés d'audit de site et comment définir les règles "Include" et "Exclude" pour l'exploration.
Suppression des paramètres d'URL :
Activer/désactiver ceci signifie que quand une URL a des paramètres, nous les supprimons et les fouillons sans paramètres.
Exemple:
ahrefs.com/help/?query=A
ahrefs.com/help/?query=B
ahrefs.com/help/?query=C
Seul ahrefs.com/help/ sera fouillé.
Suppression des liens nofollow :
Allez dans SiteAudit > + Nouveaux paramètres du projet > Crawl.
De là, vous pouvez activer/désactiver "Suivre les liens nofollow".
Suppression des pages noindex :
Comme nos bots ne sont pas en mesure de dire si une page est définie à noindex avant de l'explorer, il n'est pas possible d'exclure les pages noindex avant une exploration.
Veuillez consulter ce qui précède pour exclure manuellement les URL.
*Veuillez noter que lorsqu'une page est définie comme noindex, elle est toujours explorée par Google, mais ne sera pas affichée dans les résultats.
Bien que vous ne puissiez pas exclure les pages noindex de votre exploration, vous pouvez pouvez exclure les données noindex de vos rapports d'audit du site.