일반적으로 "URL 매개변수 제거"를 사용하거나 제외 규칙을 사용하여 특정 쿼리 또는 쿼리 패턴과 일치하는 URL 크롤링을 피할 수 있습니다.
이 설정에 액세스하려면 프로젝트 설정 > 사이트 감사 > 크롤링 설정으로 이동하십시오. 참고: 이 옵션은 새 프로젝트를 생성할 때도 사용할 수 있습니다.
URL 포함 및 제외
패턴과 일치하는 URL만 크롤링하기 - 사이트맵 링크의 전체 URL을 확인합니다.
예: /products - /products 포함 URL만 포함됩니다.
패턴과 일치하는 URL 크롤링 안 함 - 사이트맵 링크의 전체 URL을 확인합니다.
예: /news - /news 포함 URL은 제외합니다.
*참고: 이러한 규칙은 정규 표현식을 허용합니다. 사이트 감사 고급 필터에서 정규 표현식 사용 방법 및 "포함" 및 "제외" 규칙 설정 방법에 대한 더 자세한 도움말 기사을(를) 참조하세요.
URL 매개변수 제거:
이 옵션을 켜면 URL에 매개변수가 있는 경우 매개변수를 제거하고 매개변수 없이 크롤링합니다.
예:
ahrefs.com/help/?query=A
ahrefs.com/help/?query=B
ahrefs.com/help/?query=C
오직 ahrefs.com/help/만 크롤링됩니다.
nofollow 링크 제거:
사이트 감사 > + 새 프로젝트 > 크롤링 설정으로 이동하십시오.
여기에서 "nofollow 링크 따라가기"를 켜고 끌 수 있습니다.
noindex 페이지 제거:
我們的봇이 크롤링 전에 페이지가 noindex로 설정되어 있는지 확인할 수 없으므로 크롤링 전에 noindex 페이지를 제외하는 것은 불가능합니다.
위의 설명을 참조하여 URL을 수동으로 제외하세요.
*페이지가 noindex로 설정되어 있으면 여전히 Google에 의해 크롤링되지만 결과에는 표시되지 않습니다.
크롤링에서 noindex 페이지를 제외할 수는 없지만, 사이트 감사 보고서에서는 noindex 데이터를 제외할 수 있습니다.
다음 링크를 참조하세요: http://help.ahrefs.com/using-ahrefs/how-to-exclude-specific-pages-from-site-audit-reports