때때로, 우리의 AhrefsBot 이(가) Cloudflare Firewall에 의해 차단되어 웹사이트를 크롤링하는 것을 방해할 수 있습니다.
이 제한을 해제하려면 아래 단계를 따르세요.
사용자 지정 규칙을 사용해 허용 목록에 추가하기
Cloudflare에 로그인한 다음 도메인을 선택합니다.
보안 > 보안 규칙으로 이동합니다.
규칙 만들기를 클릭한 다음 사용자 지정 규칙을 선택합니다.
규칙 이름을 지정합니다. 예: “Ahrefs IP”.
수신 요청이 다음과 일치할 때… 섹션에서 필드를 “소스 IP 주소”, 연산자를 “포함됨”으로 설정합니다:
https://help.ahrefs.com/ko/articles/78658-what-is-the-list-of-your-ip-ranges의 “크롤러는 다음 범위를 사용합니다:” 섹션에서 범위 목록을 참고하세요.
Cloudflare 페이지로 돌아가 “표현식 미리보기” 오른쪽에 있는 “표현식 편집”을 누릅니다.
중괄호
{}사이에 범위 목록을 붙여넣습니다.https://help.ahrefs.com/ko/articles/78658-what-is-the-list-of-your-ip-ranges의 “그리고 이 범위 밖의 다음 개별 IP 주소:”에서 개별 IP 주소 목록을 복사합니다.
Cloudflare 페이지로 돌아가
202.8.40.0/22뒤,})앞에 커서를 놓고 스페이스바를 누릅니다.클립보드에 있는 개별 주소 목록을 붙여넣습니다.
“표현식 빌더 사용”을 눌러 네트워크와 IP 주소 목록을 더 보기 좋게 확인합니다.
그런 다음 작업 수행 섹션에서 작업을 “건너뛰기”로 설정합니다.
건너뛸 WAF 구성 요소 섹션에서 “나머지 모든 사용자 지정 규칙, 모든 속도 제한 규칙, 모든 관리형 규칙, 모든 슈퍼 봇 파이트 모드 규칙”을 활성화합니다.
원하는 경우 “일치하는 요청 로그 기록”을 활성화된 상태로 유지합니다.
필요에 따라 배치 순서를 설정한 다음 규칙을 배포합니다.
이 이미지를 참고하여 규칙 설정을 확인할 수 있습니다:
일반적인 설정의 대부분 웹사이트에서는 이 방법으로 작동합니다. 작동하지 않는 경우, Cloudflare 지원에 문의하세요.
봇 관리 기능이 있는 Cloudflare를 사용하는 경우
수신 요청이 다음과 일치할 때… 섹션에서:
필드 = “봇 감지”, 연산자 = “포함됨”, 값 =
(any(cf.bot_management.detection_ids[*] in {121451232 133933265}) and cf.bot_management.verified_bot)를 선택합니다.필드 = “인증된 봇”을 추가하고 토글을 켭니다.
그런 다음 작업 수행 섹션에서:
작업 선택 = “건너뛰기”를 선택합니다.
그런 다음 작업 수행 섹션에서 작업을 “건너뛰기”로 설정합니다.
건너뛸 WAF 구성 요소 섹션에서 “나머지 모든 사용자 지정 규칙, 모든 속도 제한 규칙, 모든 관리형 규칙, 모든 슈퍼 봇 파이트 모드 규칙”을 활성화합니다.
원하는 경우 “일치하는 요청 로그 기록”을 활성화된 상태로 유지합니다.
필요에 따라 배치 순서를 설정한 다음 규칙을 배포합니다.
