콘텐츠
사이트 감사는 AhrefsSiteAudit 크롤러가 수행합니다. 특정 봇에 대한 추가 정보는 여기에서 확인하세요.
Ahrefs에서는 기술적 사이트 감사를 수행하는 데 있어 완전한 유연성과 제어를 제공하는 포괄적인 옵션을 제공합니다.
각 설정 섹션의 개요
먼저, 프로젝트의 사이트 감사 설정으로 이동하세요. 세 가지 섹션을 찾을 수 있습니다.
1. 일정
사이트 감사를 정기적으로 실행하고 얼마나 자주 실행할지를 설정합니다. 사이트 감사 크롤링 스케줄링을 위한 일자, 시간, 시간대를 조정할 수 있습니다.
실제 크롤링은 선택한 시간 내에 언제든 시작될 수 있음을 유의하세요. 사이트 감사를 자동으로 실행하고 싶지 않으면 "예약된 크롤링 실행"을 끄세요.
2. URL 소스
URL 소스에서는 사이트 감사가 처음 방문할 "시드 URL" 또는 시작 페이지를 지정합니다. 기본적으로 "웹사이트"와 "자동 감지된 사이트맵" 옵션이 선택되며, 이는 이 프로젝트의 범위 내의 모든 페이지를 크롤링하려면 최상입니다.
💡 5개의 URL 소스 또는 시드 URL 옵션에 대한 추가 정보를 보려면 이 토글을 클릭하세요
💡 5개의 URL 소스 또는 시드 URL 옵션에 대한 추가 정보를 보려면 이 토글을 클릭하세요
웹사이트. 이 박스를 체크하면 사이트 감사가 프로젝트 URL을 크롤링의 시작점으로 사용합니다. 즉, 이 프로젝트의 범위에 입력한 URL:
자동 감지된 사이트맵. 이 박스를 체크하면, 사이트 감사가 웹사이트의 robots.txt 파일에 나열된 사이트맵 파일부터 크롤링을 시작합니다. robots.txt 파일에 사이트맵이 나열되지 않은 경우, 기본 사이트맵 위치를 확인합니다:
<your website>.com/sitemap.xml
<your website>.com/sitemap_index.xml
특정 사이트맵. 이 박스를 체크하면 사용자 지정 목록 사이트맵 파일에서 크롤링을 시작할 수 있습니다. 사이트맵 URL을 입력할 수 있는 입력 상자가 체크 후 열립니다:
사용자 지정 URL 목록 이 박스를 체크하면 제공된 입력 상자에서 또는 CSV/TXT 파일 업로드를 통해 사이트 감사가 시작할 URL 목록을 입력할 수 있습니다. 파일 크기 제한은 16Mb입니다. 프로젝트의 범위 내에 있는 URL만이 크롤링됩니다.
백링크 이 박스를 체크하면 사이트 감사가 데이터베이스에서 외부 백링크가 있는 URL을 시작으로 웹사이트를 크롤링합니다. 프로젝트 URL을 사이트 탐색기에 입력하고 백링크 보고서를 확인하여 이러한 URL이 어떤 것인지 확인할 수 있습니다:
3. 크롤링 설정
여기에 사용할 수 있는 설정 옵션의 상당한 목록이 있습니다. 각각의 도구 팁이 더 많은 정보를 제공합니다.
각 설정 옵션에 대한 추가 정보를 보려면 아래의 각 토글을 클릭하세요:
속도 설정
속도 설정
크롤러가 귀하의 웹사이트 링크를 "따라가는" 속도를 제어합니다. 아래 예시에서는 30,000개의 URL이 분당 크롤링됩니다.
설정
설정
아래 예제 설정에서는:
크롤러가 어떤 페이지도 체크할 때 자바스크립트를 렌더링하지 않습니다. 하지만, 이미지, CSS, 자바스크립트 링크는 문제 여부를 확인합니다.크롤러는 또한 비정식 페이지의 링크를 클릭하고 nofollow 링크를 클릭합니다.
크롤러는 프로젝트 웹사이트 범위 외부의 모든 링크를 완전히 무시합니다.
크롤러는 또한 발견한 링크를 제거하여 URL 매개 변수를 제거하지 않고 확인합니다.
제한
제한
이 섹션은 크롤러가 새 페이지를 크롤링하려고 시도하는 경우 중단되는 임계값을 참조합니다. 아래의 예에서, 크롤러는 어떤 제한에 도달하면 중단됩니다:
10,000 페이지가 크롤링됩니다.
크롤링은 48시간이 걸립니다.
다음 페이지의 모든 페이지가 무시됩니다:
시드에서 16 레벨 이상 깊은 경우
16개 이상의 폴더보다 깊은 경우
2048자보다 긴 URL을 가진 경우
12개 이상의 URL 쿼리 매개 변수가 있는 경우
로봇 지시사항
로봇 지시사항
이 섹션에서는 크롤러가 robots.txt를 무시하고 사용자 에이전트를 데스크톱에서 모바일로 변경하도록 지시할 수 있습니다. 두 가지 사용자의 에이전트 문자열 정보는 AhrefsSiteAudit의 자체 페이지에서 찾을 수 있습니다.
이 기능은 확인된 프로젝트에만 사용할 수 있습니다. 크롤링이 봇에 의해 차단된 웹사이트의 부분을 감사하는데 유용합니다.
인증
인증
이 기능은 고급 구독자 이상에게 제공됩니다. 웹사이트가 HTTP 인증으로 보호되는 경우, 크롤러가 웹사이트 크롤링 시 사용할 비밀번호를 입력하고 토글을 켤 수 있습니다.
페이지 속도 인사이트
페이지 속도 인사이트
페이지 속도 인사이트(PSI)는 웹페이지의 속도와 사용자 경험을 평가하는 데 도움이 됩니다. 사이트 감사는 PSI 점수가 낮은 페이지를 표시합니다. 이 기능을 사용하려면 Google에서 API를 입력해야 합니다.
URL 포함 및 제외
URL 포함 및 제외
아주 특정한 페이지를 크롤링하거나 정규식 표현을 사용하여 특정 페이지를 크롤링하지 않도록 하려면 이것을 사용하세요. 이 기사를 통해 정규식 사용 방법에 대한 추가 정보를 확인하고 시도해 볼 수 있는 몇 가지 예시를 확인하세요.
정규식 표현만 허용됩니다. 박스에 입력된 데이터가 유효한 정규식 표현을 형성하지 않는 경우 무시됩니다. 박스에 공백 줄을 입력하지 마세요.
자주 묻는 질문
사이트 감사가 처음입니다. 어떤 설정을 사용해야 하나요?
웹사이트를 완전히 크롤링하려면 기본 설정을 그대로 두시면 됩니다. 웹사이트가 자바스크립트를 많이 사용하여 페이지의 콘텐츠를 생성하는 경우 "자바스크립트 실행" 토글을 켜는 것이 좋습니다. 아직 확신이 서지 않을 경우, 지원 팀에 이메일로 또는 라이브 채팅을 통해 문의하세요.
사이트 감사 설정을 변경했지만 사이트 감사 보고서에는 아무런 변화가 없습니다. 왜 그렇나요?
프로젝트 설정 저장 변경 사항은 새로운 사이트 감사 크롤링에만 적용됩니다. 이전 또는 진행 중인 사이트 감사 크롤링에는 영향을 미치지 않습니다.
제 웹사이트에 대한 사이트 탐색기의 데이터가 잘못되었거나 불완전합니다. 사이트 감사를 올바르게 수행하지 않아 그런 건가요?
사이트 감사의 크롤링은 사이트 탐색기의 데이터를 업데이트하지 않습니다. 사이트 탐색기의 데이터는 AhrefsBot이라는, 사이트 감사와는 다른 크롤러에 의해 채워집니다. 웹사이트가 새로우면 크롤러가 접근하는 데 시간이 걸릴 수 있습니다. 그렇지 않다면, 여기에서 크롤러가 웹사이트에 접근하는 데 문제가 있는지 확인하세요.