Ahrefs에서 새 프로젝트를 만들 때, 두 봇(AhrefsBot 및 AhrefsSiteAudit 봇) 중 한 개 또는 두 개가 대상 웹사이트를 크롤링하지 못했다라는 오류 메시지를 받을 수 있습니다.
이것은 우리가 제어할 수 없는 문제로 인해 여러분의 웹사이트에 접근할 수 없다는 것을 의미합니다. 웹사이트 소유자로서, 이를 해결하고 우리에게 접근을 허용하기 위한 몇 가지 방법이 있습니다.
다음은 일반적인 문제들입니다:
1. Robots.txt 규칙이 크롤링을 허용하지 않음
아래 또는 "Robots.txt 규칙이 크롤링을 허용하지 않음"이라는 오류 메시지가 보인다면, 여러분의 robots.txt가 우리를 크롤링하지 못하도록 막고 있을 수 있습니다.
이를 확인하려면, 웹사이트를 로봇 확인 도구에 입력하십시오: https://ahrefs.com /robot/site-audit
AhrefsSiteAudit 또는 AhrefsBot에 대한 disallow 규칙이 robots.txt 파일에 포함되어 있지 않은지 확인하세요.
다음 줄을 서버의 robots.txt 파일에 추가할 수도 있습니다:
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Allow: /
2. IP가 차단됨/robots.txt 가져오기 시간이 너무 오래 걸림/서버 연결 실패
위 메시지나 그 변형 메시지를 본다면, 서버의 화이트리스트에 우리 IP를 추가해 주세요.
또 다른 가능한 문제는 호스팅 공급자가 우리를 차단하는 것입니다. 이 경우, 문제를 해결하기 위해서 공급자와 확인해 주세요.
사용 중이신 플러그인이 우리를 차단하고 오류를 일으킬 수 있는지 확인해 보십시오. 예를 들어, Incapsula 플러그인이 우리를 차단할 수 있습니다.
3. HTTP 서버 오류 403: "Forbidden"이 반환되었습니다
이 오류 메시지는 보통 사이트의 방화벽이나 플러그인에 의해 우리가 차단된다는 것을 의미합니다. 이에 따라 우리의 IP 및 사용자 에이전트(AhrefsSiteAudit 및/또는 AhrefsBot)를 허용 목록에 추가해야 합니다.
4. 오류 406 허용되지 않음: 방화벽
이 오류 메시지를 보면, 웹서버의 설정, 호스트 공급자의 방화벽, CDN의 보호 등과 같은 이유일 수 있습니다.
오류 메시지는 원인에 대한 힌트를 제공할 수 있습니다. 몇 가지 알려진 예로는 ModSecurity, Sucuri, Cloudflare가 포함됩니다.
이 문제를 우리가 해결할 수 있는 방법은 없습니다. 여러분이 해결해야 할 문제입니다.
문제를 해결하는 방법을 모르신다면, 웹마스터, 호스팅 회사 또는 CDN에 문의하여 우리 봇이 차단되지 않도록 해주세요. 지원 채팅에서 티켓 시스템을 사용하는 경우, "기술 지원" 또는 가장 관련성이 높은 카테고리를 사용하세요.
다음 양식을 자유롭게 사용하십시오:
---------------
안녕하세요,
저는 도메인 <여기 URL 삽입>을 운영 중이며 Ahrefsbot의 차단 해제를 요청하고 싶습니다. 사이트를 크롤링하고 싶지만 현재 <방화벽 이름 삽입>에서 허용되지 않습니다. Ahrefsbot은 “나쁜” 봇의 특성이 없습니다. 자세한 내용은 https://ahrefs.com /robot을 참조하세요.
감사합니다.
----------------
위에 설명된 문제를 찾을 수 없거나 추가 안내가 필요한 경우, 지원 팀에 연락해 도움을 받으세요.