사이트 탐색기 개요를 확인할 때, 크롤링된 페이지 메트릭이 0으로 표시될 때가 있습니다.
이 웹사이트의 페이지가 인덱스에 포함되지 않는 여러 가지 이유가 있을 수 있습니다.
먼저, 우리의 로봇 체크기에서 robots.txt의 상태를 확인하세요: https://ahrefs.com/robot
이제, AhrefsBot이 사이트 페이지를 크롤링하지 못하게 하는 다양한 이유를 분석하고 가능한 해결책을 제공합니다.
Robots.txt 규칙이 크롤링을 차단함
대상 웹사이트가 우리의 봇이 크롤링하는 것을 차단하고 있습니다. 서버의 robots.txt 파일에서 다음 두 줄을 제거해 주세요:
User-agent: AhrefsBot
Disallow: /
Robots.txt 파일에 접근할 수 없음 (보통 404 Not Found 오류가 발생함)
사이트의 robots.txt를 읽으려고 할 때 AhrefsBot의 user-agent가 404 오류를 받고 있습니다. robots.txt의 404는 크롤링이 허용되지만, 모든 페이지가 404임을 의미합니다. 따라서, 제목, 내용, HTML 소스 코드와 같은 페이지 관련 데이터에 접근할 수 없습니다.
서버의 robots.txt 파일에 다음 두 줄을 추가해 주세요:
User-agent: AhrefsBot
Allow: /
오류 403 금지: 웹 서버 설정에서 IP 차단
대상 웹사이트가 서버 수준에서 우리의 크롤러의 접근을 차단하고 있습니다. IP 주소 및 User Agent AhrefsBot를 웹사이트 서버의 허용 목록에 추가해 주세요.
우리의 IP 목록:
오류 406 허용불가: 방화벽/보안 플러그인에 의한 사용자-에이전트 차단
현재 우리의 봇이 차단되어 귀하의 웹사이트에 접근할 수 없습니다. 이것은 웹 서버의 설정, 호스팅 제공자가 관리하는 방화벽, CDN의 보호 등 여러 가지 이유로 인해 발생할 수 있습니다. 일부 알려진 예로는 ModSecurity, Sucuri, Cloudflare 등이 있습니다.
이 문제를 해결하기 위해 우리 측에서는 할 수 있는 것이 없으며, 귀하의 측에서 해결 조치를 취해야 합니다.
문제를 해결하는 방법을 모를 경우, 웹마스터나 호스팅 회사 또는 CDN에 연락하여 우리의 봇을 차단 해제해 주세요. 지원 채팅이 티켓 시스템을 사용하는 경우, "기술 지원" 또는 가장 관련 있는 카테고리를 사용하세요.
다음의 템플릿을 자유롭게 사용하세요:
---------------
안녕하세요,
저는
도메인을 운영하고 있으며, AhrefsBot가 저의 도메인을 크롤링할 수 있도록 차단 해제를 요청하고 싶습니다. 저는 사이트를 크롤링하기를 원하며, 현재 이 기능이 <insert firewall name here>에 의해 차단되어 있습니다. AhrefsBot 크롤러에 대한 정보는 여기에서 확인하십시오: https://ahrefs.com/robot
감사합니다.
----------------