삭제됨은 다양한 이유로 인해 우리 인덱스에서 제거된 페이지의 링크입니다. 이에는 다음이 포함됩니다:
페이지 중복: 동일한 콘텐츠의 "더 나은" 페이지를 크롤링했습니다
차단됨: 페이지는 최소 6개월 동안 robots.txt에 의해 차단되었습니다
사용 불가: 페이지가 3회 오류를 반환했으며, 마지막 성공적인 다운로드는 최소 1개월 전입니다
도메인이 더 이상 존재하지 않습니다
페이지의 URL 평점이 낮습니다
따라서 링크 자체가 여전히 페이지에 존재할 수 있지만, 더 이상 해당 페이지를 인덱싱하지 않는 경우 떨어진 것으로 표시합니다.
일반적으로, 우리가 매번 도메인/URL에 대해 업데이트할 수 있는 페이지 수에는 제한이 있습니다.
따라서, 우리는 가장 질 높은 것을 선택하고 나머지는 인덱스에서 제거하여 최신 상태를 유지합니다.
관련 내용