우리의 웹 크롤러인 AhrefsBot이 귀하의 웹사이트를 크롤링하여 외부 링크들을 기록하고 데이터베이스에 추가합니다. 이 크롤러는 주기적으로 귀하의 웹사이트를 재크롤링하여 이전에 발견된 링크들의 현재 상태를 확인합니다.
크롤러는 URL을 생성하지 않으며, 인터넷에서 발견된 링크만 따라가며 항상 GET을 사용합니다(HTTP 명세에 따르면 서버 측에서 파괴적 작업을 수행해서는 안 됩니다).
AhrefsBot은 robots.txt의 disallow 및 allow 규칙을 철저히 준수합니다.
AhrefsBot이 귀하의 사이트를 방문하는 빈도를 변경하려면, 귀하의 robots.txt 파일에 두 번의 연속된 요청 사이의 최소 허용 지연 시간을 지정할 수 있습니다:
사용자 에이전트: AhrefsBot
크롤링 지연: [값]
크롤-딜레이 값은 초 단위 시간입니다.
어떤 이유로든 AhrefsBot이 귀하의 사이트를 방문하지 못하도록 하려면, 서버의 robots.txt 파일에 다음 두 줄을 추가하세요:
사용자 에이전트: AhrefsBot
차단: /
AhrefsBot이 귀하의 robots.txt 파일의 변경 사항을 반영하는 데 시간이 필요할 수 있음을 참고해 주세요. 이 작업은 각기 다음 예정된 크롤 이전에 수행됩니다.