URL이 robots.txt에 의해 차단됨 Blocked by robots.txt
'URL이 robots.txt에 의해 차단됨'은 사이트의 robots.txt 파일에 있는 차단 규칙 때문에 Google이 그 페이지를 크롤링하지 못했다는 상태입니다. 의도적으로 차단한 URL이라면 정상이며 조치가 필요 없습니다. 다만 구글 공식 문서는 robots.txt로 차단해도 다른 경로로 색인이 생성될 수 있다고 경고하며, 검색결과에서 확실히 제외하려면 차단을 풀고 noindex를 사용하라고 안내합니다.
어떤 상태입니까
'URL이 robots.txt에 의해 차단됨'은 Google Search Console의 페이지 색인 생성 보고서에서 페이지가 색인되지 않는 이유로 표시되는 상태입니다. 사이트의 robots.txt 파일에 있는 차단 규칙이 그 URL과 일치해서, Googlebot이 페이지를 크롤링(수집)하지 못했다는 뜻입니다. 구글 고객센터 문서는 이 상태를 "이 페이지는 사이트의 robots.txt 파일에 의해 차단되었습니다"라고 설명합니다 GSC 고객센터.
핵심부터 말하면, 크롤링을 막는 것과 검색결과에서 지우는 것은 서로 다른 문제입니다. 같은 문서는 상태 설명에 곧바로 경고를 덧붙입니다 - "robots.txt로 차단해도 다른 방법으로 페이지의 색인을 생성할 수 있습니다" GSC 고객센터.
robots.txt가 무엇인지는 별도 항목에서 다룹니다. 구글 공식 문서 'robots.txt 소개'는 이 파일의 용도를 "주로 사이트의 크롤러 트래픽을 관리"하는 것이라고 정의하고, "웹페이지가 Google에 표시되는 것을 방지하기 위한 메커니즘이 아닙니다"라고 명시합니다 Google 공식.
문제입니까, 아닙니까
이 상태 자체는 오류라는 뜻이 아닙니다. 판단 기준은 하나입니다 - 그 차단이 의도한 것인지.
| 상황 | 판단 | 조치 |
|---|---|---|
| 관리자 페이지, 사이트 내부 검색 결과 등 검색에 필요 없는 URL을 직접 차단함 | 정상 | 조치 불필요 |
| 검색에 노출되어야 할 페이지가 이 목록에 있음 | 문제 | robots.txt 규칙 수정 후 재크롤링 요청 |
| 검색결과 노출 자체를 완전히 막는 것이 목적임 | 방법이 잘못됨 | 차단 해제 후 noindex 적용 |
가장 흔한 오해 - 차단해도 색인될 수 있습니다
robots.txt 차단을 검색결과에서 빼는 방법으로 오해하는 경우가 가장 많습니다. 구글 공식 문서는 "Google은 robots.txt 파일을 통해 차단된 콘텐츠를 크롤링하거나 콘텐츠의 색인을 생성하지 않지만, 허용되지 않은 URL이 웹상의 다른 곳에 연결된 경우 관련 정보를 찾아 색인을 생성할 수는 있습니다"라고 안내합니다 Google 공식.
실측 실험도 같은 결과를 보여 줍니다. Ahrefs의 패트릭 스톡스는 2023년 상위 노출 중이던 자사 블로그 글 2개를 robots.txt로 직접 차단해 봤는데, 두 페이지는 검색 색인에 그대로 남은 채 "색인이 생성되었으나 robots.txt에 의해 차단됨" 상태로 바뀌었습니다. 순위 하락은 한두 계단에 그쳤지만 두 글 모두 강조 스니펫(featured snippet)을 전부 잃었고, 스톡스는 그 손해가 "생각만큼 나쁘지는 않았다"고 정리했습니다 Ahrefs 실측.
설명 없이 URL만 뜨는 검색결과
이렇게 색인된 페이지는 검색결과에서 이상한 모습으로 나타납니다. 구글 공식 문서는 "robots.txt 파일로 웹페이지를 차단하는 경우 URL은 여전히 검색 결과에 표시될 수 있지만 검색 결과에 설명은 없습니다"라고 밝힙니다 Google 공식. 페이지 내용을 읽지 못했으니 스니펫(설명문)을 만들 수 없고, URL 주소와 링크의 앵커 텍스트 같은 공개 정보만으로 검색결과가 구성되기 때문입니다.
서치 콘솔에는 이 상황을 가리키는 별도의 경고 상태도 있습니다 - "색인이 생성되었으나 robots.txt에 의해 차단됨". 차단과 색인이 동시에 이뤄질 수 있다는 사실을 서치 콘솔 스스로 보여 주는 셈입니다.
원인과 확인 방법
원인은 한 가지입니다 - robots.txt 안의 차단 규칙이 그 URL 경로와 일치할 때입니다. 구글 공식 문서 기준으로 robots.txt 규칙은 User-agent(규칙이 적용되는 크롤러), Disallow(크롤링하지 않도록 하려는 디렉터리 또는 페이지), Allow(크롤링할 수 있는 디렉터리 또는 페이지)의 조합으로 작성됩니다 Google 공식. 예를 들어 아래 파일은 모든 크롤러의 /private/ 경로 접근을 차단합니다.
User-agent: *
Disallow: /private/어느 규칙에 걸렸는지는 서치 콘솔의 URL 검사 도구로 그 URL을 조회해 확인할 수 있습니다. 크롤링과 색인의 전체 흐름은 크롤링과 색인 항목을 참고하세요.
상황별 조치
1. 의도적으로 차단한 URL인 경우 - 조치 불필요
검색에 나올 필요가 없는 URL을 크롤러 트래픽 관리 목적으로 차단했다면 이 상태는 정상 동작입니다. 보고서에서 사라지게 만들 필요도, 색인을 요청할 필요도 없습니다.
2. 검색에 노출되어야 할 페이지인 경우
robots.txt에서 그 URL을 막는 규칙을 찾아 수정하거나 삭제합니다. 구글 공식 문서는 파일을 업데이트하면 "Google 크롤러가 자동으로 robots.txt 파일을 찾아 사용하기 시작"한다고 안내하며, 캐시된 복사본을 더 빨리 새로고침해야 한다면 업데이트된 robots.txt 제출 절차를 이용하라고 덧붙입니다 Google 공식. 이후 URL 검사 도구에서 색인 생성을 요청하면 재확인을 앞당길 수 있습니다.
3. 검색결과에서도 확실히 제외해야 하는 경우
가장 주의해야 할 갈래입니다. 구글 고객센터 문서는 이 상태의 해결 방법으로 "robots.txt 차단을 삭제하고 'noindex' 명령어를 사용하세요"라고 명시합니다 GSC 고객센터.
이유도 공식 문서에 그대로 있습니다 - "robots.txt 파일로 페이지가 차단되거나 크롤러가 페이지에 액세스할 수 없다면 크롤러는 'noindex' 규칙을 절대 확인하지 않으며 페이지가 검색 결과에 계속 표시될 수 있습니다" Google 공식. noindex는 크롤러가 페이지를 읽어야 작동하므로, 차단을 먼저 풀어야 noindex가 보입니다.
<meta name="robots" content="noindex">noindex로 제외된 페이지가 보고서에서 어떻게 표시되는지는 'noindex' 태그에 의해 제외됨 항목에서 다룹니다.
robots.txt 차단과 noindex 비교
| 구분 | robots.txt 차단 | noindex |
|---|---|---|
| 막는 것 | 크롤링(페이지 수집) | 색인(검색결과 노출) |
| 색인 제거 보장 | 보장 안 됨 - 외부 링크만으로 색인될 수 있음 | 크롤러가 규칙을 읽으면 검색결과에서 제외됨 |
| 작동 조건 | 규칙이 URL 경로와 일치 | 크롤러가 페이지에 접근 가능해야 함(robots.txt로 차단하면 안 됨) |
| 적용 위치 | 사이트 루트의 robots.txt 파일 | 페이지의 meta 태그 또는 X-Robots-Tag HTTP 헤더 |
요약하면 이 상태는 "구글이 이 페이지를 읽지 못하게 되어 있다"는 사실 알림일 뿐, 좋다 나쁘다의 판정이 아닙니다. 차단이 의도와 일치하는지, 그리고 목적이 "검색에서 숨기기"라면 도구를 noindex로 바꿔야 하는지 - 이 두 가지만 확인하면 됩니다.
