Ahrefs에서 새 프로젝트를 만들 때, 두 봇(AhrefsBot 및 AhrefsSiteAudit 봇) 중 한 개 또는 두 개가 대상 웹사이트를 크롤링하지 못했다라는 오류 메시지를 받을 수 있습니다.

이것은 우리가 제어할 수 없는 문제로 인해 여러분의 웹사이트에 접근할 수 없다는 것을 의미합니다. 웹사이트 소유자로서, 이를 해결하고 우리에게 접근을 허용하기 위한 몇 가지 방법이 있습니다.

다음은 일반적인 문제들입니다:

아래 또는 "Robots.txt 규칙이 크롤링을 허용하지 않음"이라는 오류 메시지가 보인다면, 여러분의 robots.txt가 우리를 크롤링하지 못하도록 막고 있을 수 있습니다.

이를 확인하려면, 웹사이트를 로봇 확인 도구에 입력하십시오: https://ahrefs.com /robot/site-audit
​

AhrefsSiteAudit 또는 AhrefsBot에 대한 disallow 규칙이 robots.txt 파일에 포함되어 있지 않은지 확인하세요.

다음 줄을 서버의 robots.txt 파일에 추가할 수도 있습니다:

User-agent: AhrefsSiteAudit
Allow: /

User-agent: AhrefsBot
Allow: /

위와 같은 메시지(또는 이와 유사한 메시지)가 표시되면 서버의 허용 목록(화이트리스트)에 저희 IP 주소를 추가해 주세요. 이 오류는 일반적으로 Ahrefs 크롤러를 차단하거나 지연시키는 서버 수준의 문제 또는 설정으로 인해 발생합니다. 일반적인 원인으로는 보안 플러그인, 방화벽, 호스팅 제공업체, CDN(예: Cloudflare, Sucuri, ModSecurity), 서버 설정 오류 또는 속도 제한 규칙 등이 있습니다.

저희 IP 주소: https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges. 중단 없이 액세스할 수 있도록 서버, 방화벽, CDN 및 모든 보안 도구에서 Ahrefs의 모든 IP 대역이 허용 목록(화이트리스트)에 등록되어 있는지 확인하세요.

또 다른 가능한 문제는 호스팅 공급자가 우리를 차단하는 것입니다. 이 경우, 문제를 해결하기 위해서 공급자와 확인해 주세요. 문제가 계속되면 호스팅 제공업체에 문의하여 Ahrefs를 차단하고 있지 않은지 확인하고, 필요한 모든 IP와 사용자 에이전트가 허용되어 있는지 확인하세요.

사용 중이신 플러그인이 우리를 차단하고 오류를 일으킬 수 있는지 확인해 보십시오. 예를 들어, Incapsula 플러그인이 우리를 차단할 수 있습니다. 또한 Ahrefs 크롤러를 차단하거나 속도를 제한할 수 있는 방화벽(예: ModSecurity, Safeguard), CDN(예: Cloudflare, Sucuri), DDoS 보호 스크립트 등 보안 설정도 점검하세요.

이 오류 메시지는 보통 사이트의 방화벽이나 플러그인에 의해 우리가 차단된다는 것을 의미합니다. 이에 따라 우리의 IP 및 사용자 에이전트(AhrefsSiteAudit 및/또는 AhrefsBot)를 허용 목록에 추가해야 합니다.

이 오류 메시지를 보면, 웹서버의 설정, 호스트 공급자의 방화벽, CDN의 보호 등과 같은 이유일 수 있습니다.

오류 메시지는 원인에 대한 힌트를 제공할 수 있습니다. 몇 가지 알려진 예로는 ModSecurity, Sucuri, Cloudflare가 포함됩니다.

이 문제를 우리가 해결할 수 있는 방법은 없습니다. 여러분이 해결해야 할 문제입니다.

문제를 해결하는 방법을 모르신다면, 웹마스터, 호스팅 회사 또는 CDN에 문의하여 우리 봇이 차단되지 않도록 해주세요. 지원 채팅에서 티켓 시스템을 사용하는 경우, "기술 지원" 또는 가장 관련성이 높은 카테고리를 사용하세요. 위 변경 사항을 적용한 뒤 Ahrefs 사이트 감사에서 새 크롤링을 시작해 오류가 해결됐는지 확인하세요.

다음 양식을 자유롭게 사용하십시오:

---------------

안녕하세요,

저는 도메인 <여기 URL 삽입>을 운영 중이며 Ahrefsbot의 차단 해제를 요청하고 싶습니다. 사이트를 크롤링하고 싶지만 현재 <방화벽 이름 삽입>에서 허용되지 않습니다. Ahrefsbot은 “나쁜” 봇의 특성이 없습니다. 자세한 내용은 https://ahrefs.com /robot을 참조하세요.

감사합니다.

----------------
​
위에 설명된 문제를 찾을 수 없거나 추가 안내가 필요한 경우, 지원 팀에 연락해 도움을 받으세요.
​