사이트 감사 도구에서 사이트의 크롤링을 실행하면 내부 페이지 메뉴에서 '5XX 페이지' 오류가 보고서에 나타날 수 있습니다.

이 문제는 웹사이트의 내부 페이지 URL 중 5xx(서버 오류) HTTP 응답 코드를 반환하는 모든 URL을 보고합니다. 전체 5XX 서버 오류 목록을 보려면 여기를 클릭하세요.

웹 브라우저에서 보여질 수 있는 일반적인 메시지입니다:

5xx 상태 코드를 반환하는 URL은 웹사이트 방문자와 검색 엔진 크롤러 모두 접근할 수 없습니다. 크롤러들은 요청을 포기하게 될 것이며 사람들은 대부분 귀사의 웹사이트를 떠나게 될 것입니다.
​
이것은 귀사의 웹사이트 크롤링 가능성 (그리고 인덱스 가능성)에 손상을 줄 수 있으며, 웹사이트의 사용자 경험에 부정적인 영향을 미칠 것입니다.

5xx URL 목록을 검토하세요.

브라우저에서 이러한 URL에 대해 사이트 감사에서 보고된 서버 오류를 재현해 보십시오. 문제가 여전히 존재하는지 확인하세요. 서버의 에러 로그를 확인해야 합니다.
​
가장 흔한 5xx 에러 중 하나는 웹 서버가 일시적으로 과부하되거나 유지보수 중일 때 요청을 처리하지 못하는 503 (서비스 사용 불가)입니다. 이러한 일시적인 문제는 추가 작업이 필요 없으며, 보통은 다음 성공적인 크롤링으로 해결됩니다.

서버가 과부하되었거나 잘못 구성되었을 수 있습니다. 지속적인 문제인 경우 호스팅 제공자나 웹 개발자에게 문의해야 할 수 있습니다.

사이트 감사를 위한 도구에서 이 문제가 발생할 수 있는 한 가지 이유는 프로젝트 설정에 크롤링 속도가 높게 설정된 경우입니다. 일부 서버는 한 번에 많은 요청을 처리할 수 없습니다. 이 경우 해결하기 위해서는 크롤링 속도를 낮추고 프로젝트를 다시 크롤링 해야 합니다.

또한, 웹사이트의 일부는 크롤러가 접근하지 못하도록 방화벽, DoS 보호 시스템, 특정 국가의 트래픽 차단 또는 CMS 설정에 의해 차단될 수 있습니다. 따라서 귀하의 웹사이트 URL은 크롤러에게 5xx 코드를 반환할 수 있습니다.

​