이 문제가 발생하는 원인은 무엇인가요?
이 문제는 403 (금지됨) HTTP 상태 코드를 가진 웹사이트의 모든 내부 페이지 URL을 보고합니다. 이는 Ahrefs의 Site Explorer 데이터에 따라서 일부 유기 트래픽을 받습니다.
왜 중요할까요?
403 (금지됨) HTTP 응답 코드는 인증 외의 이유로 클라이언트가 리소스에 접근할 수 없음을 나타냅니다. 페이지가 유기 트래픽을 받는 것을 고려할 때, 최근에 403으로 상태가 변경되었을 수 있습니다. 이 페이지들은 검색 엔진이 재크롤링한 후에야 검색 인덱스에서 제거됩니다 (시간이 걸릴 수 있습니다).
사람들이 검색 결과에서 403 페이지에 도달하면 만족하지 않을 것이며, 대부분 즉시 웹사이트를 떠날 것입니다. 이는 나쁜 사용자 경험을 제공하며, Google에 부정적인 사용자 행동 신호를 보낼 수 있습니다.
Ahrefs의 유기 검색 트래픽은 실시간 데이터가 아님을 주의해야 하며, 검색 엔진은 이미 403 URL을 인덱스에서 해제했을 수 있습니다.
어떻게 고칠 수 있을까요?
403 응답 코드를 반환하는 URL은 재크롤링 시 Google의 인덱스에서 제거됩니다.
페이지가 인덱스 가능해야 한다면 "200 OK" HTTP 응답 코드를 반환하는지 확인하세요.
또한, DoS 보호 시스템이나 방화벽 설정으로 인해 특정 지역에서의 웹사이트 접속이 차단되어 특정 사용자는 403 코드를 받을 수 있습니다. 이 시스템들이 서버 레벨에서 우리 크롤러를 특히 차단할 수 있으며, 방문자에게는 이 페이지가 표시됩니다.