무엇이 이 문제를 촉발시키나요?
이 문제는 403 (금지됨) HTTP 상태 코드를 반환하는 웹 사이트의 사이트맵 파일에 나열된 모든 URL을 보고합니다.
왜 중요한가요?
웹 사이트의 사이트맵 파일은 검색 엔진이 크롤링하고 색인하게 할 모든 페이지를 나열해야 합니다. 게다가, 구글은 정규 URL을 선택할 때 사이트맵 데이터를 여러 요소 중 하나로 사용합니다.
검색 엔진 크롤러는 접근할 수 없는 페이지를 크롤링 (및 색인)할 수 없습니다.
이는 웹 사이트의 색인 가능성 문제를 초래할 수 있습니다.
어떻게 고치나요?
사이트맵 파일에는 200 (성공) 응답 코드를 반환하는 활성 URL만 포함되어야 합니다.
사이트맵에서 403 응답을 반환하는 URL을 제거하십시오.
URL이 웹 서버의 DoS 보호 시스템 또는 방화벽 구성 때문에 특정하게 우리 크롤러에 대해 403 (금지됨) 응답 코드를 반환할 수 있음을 유의하십시오. 보고된 URL이 브라우저에서 접근 가능한지 확인하십시오. 이 URL들이 구글 검색 콘솔의 사이트맵 보고서에도 나타나는지 확인해야 합니다.