1. 크롤링 속도 증가
소유권 확인은 속도를 높이기 위한 필수 단계이며, 자체적으로 속도를 증가시키지는 않습니다. 대신, 이는 분당 더 많은 URL을 크롤링할 수 있게 해줍니다 (즉, 소유자인 경우에만 해당됩니다.)
프로젝트 설정에서 "소유권 확인"을 클릭하세요.
다음 확인 방법을 사용할 수 있습니다:
구글 검색 콘솔: 구글 계정을 연결하고 검색 콘솔 데이터에 대한 액세스를 허용합니다. 웹사이트가 구글 검색 콘솔에서 확인된 경우, Ahrefs에서 자동으로 확인됩니다.
HTML 파일 업로드: 확인 파일을 다운로드한 후, 도메인의 루트 폴더에 업로드합니다. 파일을 임의로 변경하거나 이름을 바꿀 필요는 없습니다.
TXT 레코드: 도메인 DNS 설정에 텍스트 레코드를 추가합니다.
HTML 태그: 웹사이트의 홈페이지 코드에 메타 태그를 추가합니다.
참고: Wordpress 사이트의 경우, HTML 태그를 사용하여 소유권을 확인하는 자세한 지침은 여기를 참조하세요.
2. 사이트 감사에서 크롤링 설정으로 이동하여 검증된 도메인의 크롤링 속도 설정을 조정합니다. 더 많은 요청을 보낼수록 크롤링 속도가 빨라집니다.
예를 들어: 인증된 웹사이트의 경우, 최대 URL을 30,000으로 설정할 수 있으며, 이는 제한입니다.
2. 크롤링된 페이지 최적화/감소
사이트에 50만 개의 URL이 있는 경우, 소유권을 확인하여 크롤 속도를 높이더라도 모든 페이지를 크롤링하는 데 시간이 오래 걸릴 것입니다.
많은 경우, 중요한 데이터를 더 빨리 수신하기 위해 크롤링되는 페이지 수를 최적화(감소)하는 것도 하나의 방법입니다.
페이지를 크롤링에서 제외하려면 이 링크를 참고하세요.
예를 들어, 수천 개의 제품 페이지가 매일 생성되고 삭제되는 큰 전자 상거래 스토어를 운영하는 경우, "URL 파라미터 제거" 옵션을 사용하여 이러한 페이지를 크롤링하지 않도록 설정하고 중요한 데이터에 집중할 수 있습니다.