Ahrefs에서는 자원의 효율적 사용과 데이터 품질을 보장하는 특정 알고리즘을 사용하여 페이지를 크롤링합니다.

따라서 간단한 답변은 새로운 백링크를 크롤링하는 데 며칠에서 몇 주가 걸릴 수 있다는 것입니다.

크롤링 알고리즘의 고려사항에는: 크롤링 우선순위 (DR 기반), 특정 페이지의 크롤링 속도 또는 업데이트 (UR 기반), 사이트 내 페이지 수 및 발견된 새로운 백링크 수가 포함됩니다.

일반적으로 "인기 있는" 사이트일수록 (예: 높은 도메인 등급 (DR), 더 많은 품질 백링크) 도메인이 크롤링될 가능성이 높습니다. 인기 있는 정도가 적은 도메인 (예: 낮은 DR, 적은 품질 백링크) 은 부분적으로만 크롤링됩니다.

특정 페이지의 크롤링과 업데이트 속도는 URL 등급 (UR)에 따라 다릅니다. UR이 높은 페이지는 낮은 등급의 페이지와 비교하여 인덱싱되어 더 자주 업데이트될 확률이 높습니다.

DR 값이 낮은 웹사이트에 많은 페이지가 있는 경우, 모든 페이지를 인덱싱할 수 없습니다. 또한 재크롤링 빈도는 상대적으로 낮을 것입니다.

반면에 DR 점수가 높고 페이지 수가 적은 웹사이트의 경우, 우리의 봇은 가능한 한 자주 모든 페이지를 재크롤링할 것입니다.

주의해야 할 또 다른 중요한 점은 새로운 백링크의 수입니다. AhrefsBot이 특정 페이지로 향하는 각 새로운 백링크를 발견하면 그 페이지의 크롤링 우선순위를 높일 것입니다.

반면, 오랫동안 특정 페이지로 향하는 새로운 백링크를 발견하지 못하면, 그 페이지를 자주 재크롤링하지 않을 것입니다.

참고: 우리의 알고리즘은 위에서 언급한 것보다 복잡하며 각 페이지의 우선순위 수준을 결정하기 위해 다른 규칙을 고려합니다.