사이트 감사의 크롤링이 데이터 탐색기에서 400 HTTP 상태 코드(잘못된 요청 오류)를 기본 페이지에 반환하고 있으며 리소스 페이지에 Incapsula가 URL에 있는 경우, 이는 귀하의 웹사이트에 설치된 Incapsula 플러그인 때문에 발생합니다.
우리의 크롤러 사용자 에이전트는 Incapsula 방화벽에 의해 차단되어 페이지의 콘텐츠에 접근할 수 없습니다.
웹사이트를 크롤링하기 위해 제공업체와 보안 예외를 설정하는 방법을 확인하십시오:
Ahrefs IP 화이트리스트 등록
당신의 Incapsula 제어판에서 다음으로 이동하세요:
설정 > 보안 > 특정 소스 화이트리스트
다음 Ahrefs IP 범위를 추가하십시오: https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges
페이지 상단으로 스크롤한 후 '저장'을 클릭하십시오.
우리의 사용자 에이전트를 화이트리스트에 등록하십시오
'AhrefsBot'과 'AhrefsSiteAudit' 사용자 에이전트를 화이트리스트에 등록했는지 확인하십시오. 우리의 AhrefsBot에 대한 추가 정보가 필요하면 이 페이지를 참조하십시오: https://ahrefs.com/robot.
당신의 Incapsula 제어판에서 다음으로 이동하세요:
설정 > 보안 > 봇 접근 제어
'예외 추가'를 클릭하면 Bot 액세스를 위한 화이트리스트 규칙 창이 나타납니다.
드롭다운 메뉴에서 '사용자 에이전트'를 선택하고 'AhrefsBot'과 'AhrefsSiteAudit'를 입력한 후 '확인'을 클릭하십시오.
크롤링 오류는 일반적으로 사용자의 구성에서 발생합니다. 위 항목을 화이트리스트에 등록한 후에도 웹사이트 크롤링에 문제가 있으면 제공업체에 문의하십시오.