이 문제가 발생하는 원인은 무엇인가요?
이 문제는 Ahrefs의 사이트 탐색기 데이터에 따라 유기적 검색 트래픽을 받는 웹사이트의 모든 내부 페이지 URL이 4xx (클라이언트 오류) HTTP 응답 코드를 반환하는 경우를 보고합니다.
이것이 중요한 이유는 무엇입니까?
4xx HTTP 응답 코드는 클라이언트 요청에 오류가 있음을 나타냅니다. 가장 일반적인 4xx 오류는 404 (찾을 수 없음)과 403 (금지됨)입니다. 페이지가 유기적 트래픽을 받는 것을 고려할 때, 페이지 상태가 얼마 전에 4xx로 변경되었을 수 있습니다. 이 페이지들은 검색 엔진이 재크롤링을 수행한 후에만 검색 인덱스에서 제거됩니다 (시간이 걸릴 수 있습니다).
검색 결과에서 4xx 페이지에 도착한 사람들은 만족하지 않을 것이고, 대부분 즉시 웹사이트를 떠날 것입니다. 이는 사용자 경험을 저하시켜 구글에 부정적인 사용자 행동 신호를 보낼 수 있습니다.
Ahrefs의 유기적 검색 트래픽은 실시간 데이터가 아니며, 검색 엔진이 이미 4xx URL을 비인덱싱했을 수도 있습니다.
해결 방법은 무엇인가요?
4xx 응답 코드를 반환하는 URL은 재크롤링 시 구글의 인덱스에서 제거됩니다.
페이지가 삭제되었거나 이동되었거나 의도치 않게 차단된 경우, 복원해야 합니다.
또한 DoS 보호 시스템 또는 방화벽 구성은 특정 위치에서 웹사이트에 대한 접근을 차단하여 특정 사용자들에게 403 코드를 반환할 수 있음을 유의해야 합니다. 이 시스템들이 서버 수준에서 우리 크롤러를 차단할 수도 있으며, 이에 따라 방문자에게 이 페이지는 여전히 라이브일 수 있습니다.