이 문제를 유발하는 원인은 무엇입니까?
이 문제는 사이트맵 파일에 있는 모든 URL 중에서 4xx (클라이언트 오류) HTTP 상태 코드를 반환하는 URL을 보고합니다.
왜 중요한가요?
웹사이트의 사이트맵 파일은 검색 엔진이 크롤링하고 인덱싱해야 하는 모든 페이지를 나열해야 합니다. 게다가, 구글은 정식 URL을 선택할 때 사이트맵 데이터를 요소 중 하나로 사용합니다.
사이트맵에 있는 4xx URL은 존재하지 않는 URL (404 (찾을 수 없음) 또는 410 (없음) 코드)이나 접근할 수 없는 URL (401 (인가되지 않음), 403 (금지됨) 등)을 검색 엔진에 잘못된 신호로 전달합니다. 4xx HTTP 상태 코드의 전체 목록을 확인할 수 있습니다.
이로 인해 구글과 같은 검색 엔진이 사이트맵을 무시할 수 있습니다. 이 경우 웹사이트에 색인화 문제들이 발생할 수 있습니다.
어떻게 해결하나요?
사이트맵 파일에는 200(OK) 응답 코드를 반환하는 라이브 URL만 포함해야 합니다.
사이트맵에서 4xx URL을 제거하세요. 페이지가 크롤링 및 인덱싱되어야 한다면 상태를 200(OK)로 변경하세요.
참고:
HTTP 429 (너무 많은 요청) 응답 코드는 프로젝트의 크롤링 설정의 크롤링 속도가 웹 서버에 비해 너무 높음을 나타낼 수 있습니다. 크롤링 설정에서 크롤링 속도를 줄이고 프로젝트를 다시 크롤링하세요.