Ahrefs는 AhrefsBot이라는 웹 크롤러 또는 봇을 운영합니다. 우리의 크롤러는 매일 수백만 개의 웹사이트를 방문하여 정보를 수집하고 기록합니다. 즉, 이렇게 Ahrefs는 모든 데이터를 수집합니다.
페이지가 크롤링될지 여부 및 시기에 영향을 미치는 요인들
크롤링 우선순위: 일반적으로, 사이트가 더 “인기” 있는 경우 (예: 도메인 평점 (DR), 더 많은 품질 도메인)가 있다면, 해당 도메인의 크롤링 가능성이 더 높습니다. 덜 “인기” 있는 도메인 (즉, 낮은 DR, 품질 도메인 수가 적음)은 부분적으로 크롤링됩니다.
크롤링/업데이트 속도: 이는 페이지의 URL 평점 (UR)에 따라 달라집니다. UR이 높은 페이지는 인덱스될 가능성이 높고, 낮은 페이지보다 더 자주 업데이트됩니다.
대상 사이트를 아직 크롤링하지 않았을 때 Page Inspect 보고서를 확인하면 다음과 같은 메시지가 표시됩니다: 이 페이지에 대한 HTML 코드 스냅샷을 찾을 수 없습니다.
대상 페이지가 아직 크롤링되지 않았기 때문에, 제목, 페이지 콘텐츠, HTML 소스 코드 등과 같은 페이지 데이터는 데이터베이스에 없습니다. 이 페이지에서 나가는 모든 링크도 캡처되지 않습니다.
도메인이 새로 만들어진 경우, 우리의 크롤러에게 새로운 웹사이트를 처리할 시간을 주세요 (1~2주의 시간이 보통 충분합니다). 방금 생성된 새로운 페이지도 마찬가지입니다.
참고: 백링크 보고서는 대상 사이트로 연결되는 백링크가 있는 다른 사이트를 우리가 크롤링했을 때 제공됩니다.
도메인이 크롤링을 차단할 수도 있습니다. 웹사이트 설정이 우리 크롤러를 차단하고 있는지 확인하려면, URL을 크롤러의 페이지에 입력하세요: https://ahrefs.com/robot
해결하려면, 이 기사를 읽어보세요: https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages