찾을 수 없음(404) Not found (404)
'찾을 수 없음(404)'은 구글봇이 URL을 요청했을 때 서버가 404(페이지 없음) 응답을 돌려주어 색인에서 빠진 상태입니다. 구글 공식 문서는 404가 "웹의 지극히 정상적인 일부"이며 모든 404를 고칠 필요는 없다고 안내합니다. 다만 실수로 사라진 중요 페이지이거나 콘텐츠를 다른 곳으로 옮긴 경우라면 301 리디렉션 등 조치가 필요합니다.
무엇을 뜻하나
'찾을 수 없음(404)'은 구글봇이 특정 URL을 요청했을 때 서버가 HTTP 404 응답, 즉 "그런 페이지 없음"을 돌려주어 구글이 그 페이지를 색인에 넣지 않았거나 기존 색인에서 뺀 상태입니다. 구글 서치 콘솔의 페이지 색인 생성 보고서에서 '색인이 생성되지 않음' 사유 중 하나로 표시되며, 공식 문서는 이 상태를 "이 페이지를 요청했을 때 404 오류가 반환되었습니다"라고 설명합니다 GSC 고객센터.
404는 특정 검색엔진이 만들어낸 개념이 아니라 웹 표준 응답 코드입니다. MDN은 404를 "서버가 요청받은 리소스를 찾을 수 없음을 나타내는 응답 상태 코드"라고 정의합니다 MDN 표준. 서치 콘솔의 이 리포트는 오류를 새로 만든 것이 아니라, 서버가 이미 내보내고 있던 404 응답을 모아서 보여줄 뿐입니다.
순위에 해로운가
결론부터 말하면 대부분의 404는 문제가 아닙니다. 구글 검색 센트럴은 "404 오류는 웹의 지극히 정상적인 일부"이며 새 콘텐츠가 생기고 옛 콘텐츠가 사라질 때 되도록이면 404를 반환한다고 밝힙니다 Google 공식. 순위와 관련해서도 일부 URL이 404를 반환한다는 사실은 "200(성공)을 반환하는 다른 URL이 검색 결과에서 작동하는 방식에 영향을 주지 않는다"라고 명시합니다 Google 공식.
이 원칙은 데이터로도 뒷받침됩니다. Ahrefs가 약 206만 개 사이트의 백링크를 분석한 결과, 2013년 이후 걸린 링크의 최소 66.5%가 이미 소멸(link rot)했습니다 Ahrefs 실측. 페이지가 없어지고 그 자리에 404가 남는 것은 예외가 아니라 웹의 기본 동작이라는 뜻입니다.
따라서 구글 공식 입장은 두 가지로 요약됩니다. 첫째, 404 자체는 순위를 깎지 않습니다. 둘째, 삭제한 페이지가 404를 반환하는 것은 오히려 정상이며 권장되는 동작입니다. 구글은 페이지를 없앨 때 홈으로 돌려보내는 '소프트 404' 대신 정직하게 404 또는 410을 반환하기를 선호한다고 안내합니다 Google 공식.
왜 404가 잡히나 - 흔한 원인
- 일부러 삭제한 페이지 - 오래된 이벤트, 품절 상품, 내려간 게시글. 정상이며 방치해도 됩니다.
- 내부 링크나 사이트맵에 남은 오래된·오타 URL - 구글이 그 링크를 따라와 없는 주소를 요청.
- 외부 사이트가 잘못 건 링크 - 다른 사이트가 오타난 주소를 걸어두면 구글이 그 주소를 시도.
- 실수로 사라진 중요 페이지 - 배포 사고, 슬러그 변경, CMS 오류. 이것만이 실제 조치 대상입니다.
언제 조치해야 하나
구글 문서는 '삭제'와 '이동'을 구분합니다. 페이지 색인 생성 보고서는 "페이지가 대체할 페이지 없이 삭제된 경우 404 응답이 반드시 문제가 되는 것은 아닙니다"라고 안내하고, 콘텐츠를 옮겼다면 "새 위치로 301 리디렉션을 사용하세요"라고 권합니다 GSC 고객센터. 판단 기준은 단순합니다 - 이 URL이 사라져도 되는가?
| 상황 | 조치 | 근거 |
|---|---|---|
| 페이지를 일부러 없앰, 대체 페이지 없음 | 그대로 404 유지 (조치 불필요) | 404는 정상 응답 |
| 콘텐츠를 다른 URL로 이동 | 새 위치로 301 리디렉션 | 구글: "새 위치로 301 리디렉션을 사용하세요" |
| 백링크·트래픽 있는 중요 URL이 사라짐 | 페이지 복구 또는 가장 관련 있는 페이지로 301 | 링크 가치·사용자 경험 보존 |
| 영구 삭제를 명확히 알리고 싶음 | 410(Gone) 반환 고려 | 아래 '404 vs 410' 참조 |
중요한 것은 모든 404를 리디렉션으로 덮지 말라는 점입니다. 사라진 페이지 수백 개를 무조건 홈페이지로 보내면 구글이 이를 소프트 404로 판정할 수 있습니다. 관련 없는 페이지로의 대량 리디렉션은 해결이 아니라 새 문제를 만듭니다.
404 vs 410 - 색인 제거 속도
운영자들이 자주 혼동하는 지점입니다. 404는 "지금 못 찾음", 410(Gone)은 "영구적으로 사라짐"이라는 의미 차이가 있습니다. 그런데 공식 문서가 말하는 '동일 처리'와 실측이 관찰한 '크롤링 빈도 차이'가 미묘하게 엇갈립니다. 왜 그런지, 실무에선 어떻게 판단할지 아래 표로 정리합니다.
| 구글 공식 입장 | 색인 파이프라인은 429를 제외한 모든 4xx 오류를 동일하게 처리하며, 404든 410이든 이전에 색인된 URL을 색인에서 삭제합니다. 최종 결과는 같습니다. Google 공식 |
|---|---|
| 전문가 실측 결과 | Reboot Online이 3개월 이상 119개 페이지를 추적하니 구글은 404 URL을 410보다 49.6% 더 자주 재크롤했습니다(95% 신뢰수준). 410을 '영구 삭제'로 더 빨리 신뢰한다는 신호입니다. Reboot 실측 |
차이의 이유는 구글의 확인 습관에 있습니다. 구글은 404를 받아도 "정말 사라졌는지" 한 번 더 확인하려 재방문하는 경향이 있는 반면, 410은 곧바로 영구 삭제 신호로 받아들입니다. 구글의 존 뮬러도 410 응답이 404보다 색인에서 조금 더 빨리 빠지는 편이지만 보통 며칠 정도의 차이라고 설명한 적이 있습니다 SEJ 보도. 실무 결론은 단순합니다 - 이미 404를 반환하고 있다면 구글이 알아서 색인에서 빼주므로 굳이 410으로 바꿀 이득은 적고, 해킹으로 생긴 스팸 URL처럼 '다시는 색인되면 안 되는' 페이지만 410으로 명확히 못 박으면 충분합니다.
확인·조치 팁
- 보고서의 예시 URL을 눌러 실제로 없어져도 되는 주소인지 먼저 확인합니다. 대부분은 그냥 둬도 됩니다.
- 중요 페이지가 404로 잡혔다면 복구하거나 관련 페이지로 301한 뒤, URL 검사 도구로 상태를 다시 확인합니다.
- 사이트맵·내부 링크에 죽은 URL이 남아 있지 않은지 점검합니다. 사이트맵에 404 URL을 넣지 않는 것이 좋습니다.
- 404 개수가 갑자기 급증했다면 배포 사고나 대량 삭제 신호일 수 있으니 원인을 살핍니다.
연관 개념으로, 겉보기엔 404 같지만 200을 반환해 구글이 따로 분류하는 소프트 404, 이동한 페이지의 올바른 처리 방법인 301 리디렉션, 이 상태가 표시되는 페이지 색인 생성 보고서를 함께 참고하시기 바랍니다.
참고 자료
- 페이지 색인 생성 보고서 - Google Search Console 고객센터
- Do 404 errors hurt my site? - Google 검색 센트럴 블로그
- HTTP status codes and network errors - Google 검색 센트럴
- 404 Not Found - MDN Web Docs
- At Least 66.5% of Links to Sites in the Last 9 Years Are Dead - Ahrefs (2022)
- 404 vs 410: The Technical SEO Experiment - Reboot Online
- Google Offers Advice on 404 and 410 Status Codes - Search Engine Journal