Ahrefs는 자체 웹 크롤러(AhrefsBot으로 알려짐)를 운영하여 수백만 개의 웹사이트를 방문하고 정보를 수집하여 기록합니다. 이렇게 해서 Ahrefs는 방대한 링크 인덱스를 구축합니다.
AhrefsBot은 robots.txt에 있는 disallow 및 allow 규칙을 엄격하게 준수합니다. 따라서, robots.txt를 수정하여 AhrefsBot의 행동을 제어할 수 있습니다.
우리가 아는 바로는 Quora, LinkedIn, Slideshare 같은 사이트는 다음 중 하나를 가지고 있습니다:
크롤링을 방지하거나,
웹사이트의 일부 크롤링만 허용했습니다.
이것이 바로 이러한 사이트에서 오는 백링크(dofollow/nofollow)가 Ahrefs의 백링크 보고서에 표시되지 않는 주요 이유입니다.
PDF 파일에 관해서는, AhrefsBot이 링크, 메타데이터 등을 위해 크롤링하지 않습니다.