서버 오류(5xx) Server error (5xx)
'서버 오류(5xx)'는 구글봇이 페이지를 요청했을 때 서버가 500번대 오류를 반환해 색인이 생성되지 못한 상태입니다. 일시적인 장애라면 재크롤링으로 풀릴 수 있지만, 구글 공식 문서는 오류가 며칠간 지속되면 크롤링 속도가 떨어지고 이미 색인된 URL도 결국 삭제될 수 있다고 안내합니다. 계획된 점검이라면 503 상태 코드와 Retry-After 헤더 사용이 구글의 공식 권장 방법입니다.
'서버 오류(5xx)'는 어떤 상태입니까
'서버 오류(5xx)'는 서치 콘솔의 페이지 색인 생성 보고서에서 "색인이 생성되지 않은 이유"로 표시되는 상태입니다. 구글 공식 도움말은 이를 "페이지를 요청했을 때 서버에서 500 수준 오류가 반환됩니다"라고 정의합니다 GSC 고객센터. 구글봇이 페이지를 가지러 갔지만, 주소가 틀려서가 아니라 서버 쪽 사정으로 내용을 받지 못한 상태입니다.
비유하면 택배 기사가 물건을 받으러 창고까지 갔는데 셔터가 내려가 있던 상황입니다. 주소(URL)가 틀린 것도, 물건(콘텐츠)이 사라진 것도 아니고, 그 순간 창고가 문을 열어 주지 못한 것입니다. 500·502·503·504 같은 500번대 응답이 모두 여기에 해당합니다.
문제입니까, 아닙니까
판단 기준은 "지금도 오류인가"입니다. 서버 재시작이나 순간 과부하로 잠깐 발생했다가 이미 복구된 경우라면, 보고서에 흔적이 남아 있어도 실제로는 해결된 상태일 수 있습니다. URL 검사 도구의 실시간 테스트로 그 페이지가 지금 정상 응답하는지 먼저 확인하는 것이 순서입니다.
다만 구글은 이 오류를 가볍게 보지 않습니다. 크롤링 통계 보고서 도움말은 서버 오류를 두고 "이 오류는 가용성 경고를 발생시키므로 가능한 경우 수정해야 합니다"라고 안내합니다 GSC 고객센터. 한두 번 스쳐 간 흔적이 아니라 반복해서 나타난다면 손봐야 하는 상태입니다.
방치하면 어떻게 됩니까 - 구글 공식 문서의 답
구글 검색 센터의 'HTTP 상태 코드가 Google 크롤러에 미치는 영향' 문서는 5xx 오류에 대한 구글봇의 반응을 세 가지로 정리합니다 Google 공식.
- 크롤링 속도 - "Google이 사이트의 크롤링 속도를 낮춥니다. 크롤링 속도 감소는 서버 오류를 반환하는 개별 URL의 수에 비례합니다."
- 콘텐츠 처리 - "5xx 상태 코드를 반환하는 URL에서 수신한 모든 콘텐츠는 무시됩니다."
- 색인 - "이미 색인 생성된 URL은 색인에 보존되지만 결국에는 삭제됩니다."
'Google 크롤링 속도 낮추기' 문서는 더 구체적입니다. 500·503·429 오류가 지속되면 크롤링 속도가 떨어지는 것이 오류가 난 URL만이 아니라 "사이트의 전체 호스트 이름"에 영향을 주며, "Googlebot이 며칠 동안 동일한 URL에서 이러한 상태 코드를 발견하면 Google 색인에서 URL이 삭제될 수 있습니다"라고 경고합니다 Google 공식. 크롤링 속도가 떨어지면 사이트 전체의 크롤 예산이 줄어들므로, 오류가 난 페이지 몇 개로 끝나는 문제가 아닙니다.
며칠이 고비입니다 - 존 뮬러의 설명
공식 문서가 "결국에는 삭제"라고만 밝힌 그 시점을, 구글 검색 담당자 존 뮬러는 오피스아워에서 좀 더 분명하게 설명했습니다. 그의 설명을 정리하면, 하루 정도의 일시적 장애에는 503 응답 코드가 곧 다시 오라는 좋은 신호이지만, 며칠간 지속되면 구글은 이를 영구적인 상태로 보고 그 페이지를 색인에서 제거한다는 것입니다 존 뮬러 발언 (2021년). 공식 문서의 두루뭉술한 "결국"이 실무에서는 "하루는 여유, 며칠부터 위험"이라는 시간표로 읽히는 셈입니다.
원인 확인과 조치
페이지 색인 생성 보고서 도움말은 서버 오류에 대한 대응으로 다음을 확인하라고 안내합니다 GSC 고객센터.
- 크롤링 통계 보고서에서 사이트의 호스트 상태 판정을 검토합니다.
- 동적 페이지 요청으로 생기는 지나친 서버 부하를 줄입니다.
- 호스팅 서버가 다운되거나 오버로드되지 않도록 관리합니다.
- 방화벽이나 보안 설정이 실수로 구글봇을 막고 있지 않은지 확인합니다.
크롤링 통계 보고서의 호스트 상태는 신호등처럼 세 단계로 표시됩니다. 도움말 기준으로 초록색은 "지난 90일 동안 사이트에 중대한 크롤링 가용성 문제가 발생하지 않았습니다", 빨간색은 "지난주에 사이트에서 중대한 크롤링 가용성 문제가 하나 이상 발생했습니다"라는 뜻입니다 GSC 고객센터. 빨간색이라면 서버 오류가 현재진행형일 가능성이 높으므로 호스팅 업체나 개발 담당자와 함께 서버 로그를 확인해야 합니다.
계획된 점검이라면 - 503과 Retry-After
서버 점검이나 배포 때문에 사이트를 잠시 내려야 한다면, 503 상태 코드를 반환하는 것이 구글의 공식 권장입니다. '일시적으로 웹사이트 일시중지 또는 사용 중지' 문서는 "1~2일 동안 긴급하게 사이트를 사용 중지해야 한다면 모든 콘텐츠 대신 503 HTTP 응답 상태 코드가 포함된 정보 제공용 오류 페이지를 반환하세요"라고 안내하며, "retry-after HTTP 헤더를 사용하여 최선의 날짜 또는 기간을 명시하세요"라고 덧붙입니다 Google 공식.
HTTP/1.1 503 Service Unavailable
Retry-After: 3600503은 구글봇에게 "지금은 못 드리지만 곧 다시 엽니다"라고 알려 주는 표지판입니다. 다만 같은 문서는 사이트 전체 중지가 "아주 짧은 기간(최대 2~3일 정도)에만 취해야 하는 극단적인 조치"이며 그 이상 길어지면 "올바르게 구현하더라도 Google 검색에서 웹사이트에 중대한 영향을 미칠 수 있다"고 경고합니다 Google 공식. 앞서 본 존 뮬러의 "며칠" 설명과 맞물리는 대목으로, 503은 며칠 단위의 임시방편이지 장기 점검의 해법이 아닙니다.
