승인되지 않은 요청(401)으로 인해 차단됨 Blocked due to unauthorized request (401)
'승인되지 않은 요청(401)으로 인해 차단됨'은 로그인 같은 인증 요구 때문에 구글봇이 페이지에 접근하지 못해 색인이 생성되지 않은 상태입니다. 관리자 화면·회원 전용·스테이징처럼 일부러 잠근 페이지라면 오류가 아니라 구글이 권장하는 정상 상태입니다. 공개해야 할 페이지라면 인증 요구를 없애거나 구글봇 접근을 허용한 뒤 URL 검사 도구의 실시간 테스트로 확인합니다.
어떤 상태를 말하나
'승인되지 않은 요청(401)으로 인해 차단됨'은 서치 콘솔의 페이지 색인 생성 보고서에서 "색인이 생성되지 않음" 사유로 표시되는 상태입니다. 구글 공식 도움말은 이를 "승인 요청(401 응답)으로 인해 Googlebot의 페이지 액세스가 차단되었습니다"라고 정의합니다. GSC 고객센터 쉽게 말해 페이지가 방문자에게 "먼저 로그인하세요"라고 요구했고, 구글봇이 그 문턱을 넘지 못한 것입니다.
비유하면 건물 입구에서 경비원이 "사원증을 보여 주셔야 들어갈 수 있습니다"라며 막아선 상황입니다. 구글봇은 사원증(로그인 정보)을 만들지도, 들고 다니지도 않는 방문객이라서 문 앞에서 그대로 돌아갑니다. 서버가 고장 난 것도, 페이지가 사라진 것도 아니고, "신분 확인이 필요합니다"라는 정상적인 거절에 가깝습니다.
문제인가, 의도한 차단인가
결론부터 말하면, 이 상태의 상당수는 문제가 아닙니다. 도움말은 "페이지의 색인이 생성되지 않았지만 반드시 오류 때문인 것은 아닙니다"라고 못 박고, "타당한 이유라면 URL의 색인이 생성되지 않아도 괜찮습니다"라고 안내합니다. GSC 고객센터 판단 기준은 하나입니다. 그 페이지를 검색결과에 내보낼 생각이 있었습니까.
- 조치가 필요 없는 경우 - 관리자 화면, 회원 전용 콘텐츠, 오픈 전 스테이징(테스트) 사이트처럼 일부러 로그인 뒤에 둔 페이지입니다. 401은 잠금장치가 설계대로 작동하고 있다는 증거입니다.
- 조치가 필요한 경우 - 누구나 볼 수 있어야 할 공개 페이지가 이 목록에 있는 경우입니다. 방화벽이나 보안 플러그인이 구글봇을 잘못 막고 있을 가능성이 큽니다.
구글은 오히려 비공개 콘텐츠에 이 방식을 권장합니다. "사이트에 기밀 또는 비공개 콘텐츠가 있는 경우에는 승인된 사용자만 콘텐츠에 액세스할 수 있도록 비밀번호로 보호해야 합니다"가 공식 안내입니다. Google 공식 구글 검색 담당자 존 뮬러도 스테이징 사이트를 검색에서 숨기는 권장 방법으로 서버 측 접근 차단, 즉 HTTP 인증이나 IP 허용 목록을 직접 꼽았습니다. 존 뮬러 발언 스테이징 사이트의 401은 사고가 아니라 모범 사례입니다.
색인에서 언제 빠지나 - 4xx 공식 처리 규칙
401이 유지되는 페이지의 앞날은 공식 문서에 분명하게 적혀 있습니다. "Google 검색의 경우 Google은 4xx 상태 코드를 반환하는 URL의 색인을 생성하지 않으며, 이미 색인이 생성되었으나 4xx 상태 코드를 반환하는 URL은 색인에서 삭제됩니다"라고 명시하는데, 이 규칙은 429를 제외한 모든 4xx에 똑같이 적용됩니다. Google 공식 401도 4xx에 속하므로, 이 상태가 계속되면 페이지는 새로 색인되지 않고, 이미 색인돼 있던 페이지도 시간이 지나면 검색결과에서 빠집니다.
일부러 잠근 페이지라면 이것이 바로 원하던 결과이므로 그대로 두면 됩니다. 반대로 공개 페이지가 401을 반환하고 있다면 방치하는 만큼 검색 유입이 줄어들다가 결국 검색결과에서 완전히 사라집니다. 같은 상태라도 의도가 무엇이었는지에 따라 정상 동작과 사고가 갈리는 셈입니다.
원인 - 401이 잡히는 대표적인 경우
실무에서 이 상태가 보고서에 나타나는 경로는 대체로 다음 다섯 가지입니다.
- 일부러 잠근 페이지가 구글에 알려진 경우 - 관리자 화면·회원 전용 페이지·스테이징 사이트의 URL이 사이트맵이나 내부 링크, 외부 링크를 타고 발견된 경우입니다. 가장 흔하며 문제가 아닙니다.
- 방화벽·보안 플러그인의 오인 차단 - 봇 방어 기능이 구글봇을 수상한 봇으로 오인해 인증을 요구하는 경우입니다. 공개 페이지가 401로 잡히는 대표 원인입니다.
- CDN·호스팅의 접근 제한 - IP 제한, 국가 차단, 임시 보호 모드 같은 설정이 구글봇 요청에 401을 돌려주는 경우입니다.
- 개발용 잠금을 지우지 않고 오픈한 경우 - 사이트를 공개로 전환하면서 스테이징 시절의 기본 인증(Basic Auth, 아이디·비밀번호 입력 창)을 일부 경로에 남겨 둔 경우입니다.
- 크롤링 속도를 줄이려는 잘못된 사용 - 서버 부담을 덜 목적으로 일부러 401을 반환하는 경우로, 아래 주의점에서 다루듯 효과가 없는 방법입니다.
정말 로그인 벽 때문인지 확인하는 방법
첫 번째는 시크릿 모드(로그인이 풀린 새 창)입니다. 도움말도 "시크릿 모드로 페이지를 방문하여 이 오류를 확인할 수 있습니다"라고 안내합니다. GSC 고객센터 시크릿 창에서 해당 페이지를 열었을 때 로그인 창이나 아이디·비밀번호 입력 창이 뜬다면, 구글봇도 같은 벽 앞에 서 있는 것입니다.
두 번째는 URL 검사 도구의 실시간 테스트입니다. 도움말은 "이 검사는 실시간 테스트입니다. 이 도구는 실시간으로 URL을 가져와 검사합니다"라고 설명합니다. GSC 고객센터 보고서에 남은 401 표시는 과거 크롤링 기록이므로, 지금 이 순간 구글봇이 들어갈 수 있는지는 실시간 테스트로 봐야 정확합니다.
세 번째는 서버 로그(서버가 남기는 방문 기록) 확인입니다. 이때 401을 받은 요청이 진짜 구글봇인지부터 가려야 합니다. 구글을 사칭해 접근하는 스팸 봇이 있기 때문인데, 구글은 역방향 DNS 조회와 함께 "크롤러의 IP 주소를 Googlebot 크롤러 및 가져오기의 IP 범위 목록과 대조해 IP 주소로 Googlebot을 식별할 수도 있습니다"라는 공식 확인 방법을 제공합니다. Google 공식 개발 담당자나 호스팅 업체에 "401을 받은 요청의 IP가 구글 공식 목록에 있는지 확인해 달라"고 요청하면 됩니다.
상황별 조치 - 공개할 페이지와 잠글 페이지
공개해야 할 페이지라면 조치는 두 갈래뿐입니다. 도움말 원문은 "Googlebot이 이 페이지를 색인 생성할 수 있도록 하려면 페이지의 승인 요구사항을 삭제하거나 ID를 확인하여 Googlebot이 페이지에 액세스하도록 허용하세요"입니다. GSC 고객센터
- 승인 요구사항 삭제 - 페이지에 걸린 로그인·비밀번호 요구를 없앱니다. 스테이징 시절의 기본 인증이 남아 있다면 제거합니다.
- 구글봇 접근 허용 - 방화벽·보안 플러그인·CDN이 원인이라면, 위의 신원 확인을 거친 진짜 구글봇을 허용 목록에 추가합니다.
수정한 뒤에는 URL 검사 도구의 실시간 테스트로 통과 여부를 확인하고 색인 생성 요청을 보냅니다. 보고서의 401 표시는 구글이 다시 크롤링한 뒤에야 갱신되므로, 실시간 테스트가 통과했다면 보고서가 아직 예전 그대로여도 수정은 끝난 것입니다.
401을 크롤링 속도 조절에 쓰면 안 되는 이유
구글봇 방문이 서버에 부담된다고 401을 돌려주는 방법은 통하지 않습니다. 구글은 "크롤링 속도를 제한하기 위해 401 및 403 상태 코드를 사용하지 마세요. 429를 제외한 4xx 상태 코드는 크롤링 속도에 영향을 미치지 않습니다"라고 경고합니다. Google 공식 속도는 줄지 않고 색인만 빠집니다. 긴급하게 속도를 낮춰야 한다면 짧은 기간 동안 500·503·429를 반환하는 것이 공식 대안이지만, 이마저도 "Googlebot이 며칠 동안 동일한 URL에서 이러한 상태 코드를 발견하면 Google 색인에서 URL이 삭제될 수 있습니다"라는 조건이 붙습니다. Google 공식
잠가 둘 페이지라면 robots.txt보다 확실한 방법입니다
일부러 잠근 페이지는 손댈 필요가 없고, robots.txt 차단으로 바꾸는 것은 오히려 후퇴입니다. 구글은 검색결과에서 확실히 빼는 수단으로 "URL이 Google 검색 결과에 표시되지 않게 하려면 서버의 파일을 비밀번호로 보호하거나 noindex meta 태그 또는 응답 헤더를 사용하거나 페이지 전체를 삭제합니다"라고 안내합니다. Google 공식 robots.txt는 크롤링만 막을 뿐이어서, 외부 링크로 발견된 URL은 내용 없이도 색인될 수 있습니다.
존 뮬러도 같은 이유로 서버 측 인증을 권장했습니다. noindex는 페이지가 공개되어 있어야 작동해 비공개 목적에 맞지 않고, robots.txt는 실서비스 전환 때 되돌리는 것을 잊기 쉽다는 설명입니다. 이미 색인돼 버린 스테이징 사이트를 지우는 가장 빠른 방법으로는 서치 콘솔의 사이트 삭제 요청을 제시했습니다. 존 뮬러 발언 제외 기간에 대해 현행 삭제 도구 도움말은 "요청에 성공할 경우 결과는 약 6개월 동안 지속됩니다"라고 안내합니다. GSC 고객센터
비슷한 차단 상태와의 구분
페이지 색인 생성 보고서에는 401과 헷갈리기 쉬운 형제 상태가 여럿 있습니다. 특히 403과의 구분에 대해 도움말은 "HTTP 403은 사용자 에이전트가 사용자 인증 정보를 제공했지만 액세스 권한이 부여되지 않았음을 의미합니다. 하지만 Googlebot은 사용자 인증 정보를 제공하지 않으므로 서버에서 이 오류가 잘못 반환됩니다"라고 설명합니다. GSC 고객센터
- 액세스 금지(403)로 인해 차단됨 - 401이 "신분증을 보여 주세요"라면 403은 "신분증을 봐도 들여보낼 수 없습니다"입니다. 구글봇은 신분증(인증 정보)을 내지 않으므로, 구글봇에게 403을 주는 것은 대체로 서버 설정 오류입니다.
- 다른 4xx 문제로 인해 차단됨 - 401·403·404를 제외한 나머지 4xx 응답(400, 429 등)으로 차단된 경우를 묶은 상태입니다.
- URL이 robots.txt에 의해 차단됨 - robots.txt로 크롤링을 막은 상태입니다. 크롤링만 막을 뿐 색인 제외를 보장하지 못한다는 점이 401과 다릅니다.
- 찾을 수 없음(404) - 페이지가 아예 없는 상태입니다. 401은 페이지가 있지만 잠겨 있는 상태입니다.
- 서버 오류(5xx) - 서버 쪽 고장으로 내용을 주지 못한 상태입니다. 401은 서버가 정상 작동하면서 신분 확인을 요구하는 상태라는 점이 다릅니다.
