URL이 'NOINDEX'로 표시됨 Excluded by noindex tag
'URL이 NOINDEX로 표시됨'은 구글이 페이지의 색인을 생성하려다 페이지에 있는 noindex 명령어를 발견해 색인을 생성하지 않았다는 상태입니다. 오류가 아니라 사이트가 걸어 둔 "색인하지 말라"는 지시를 구글이 그대로 따른 결과이므로, 의도한 noindex 라면 아무 조치도 필요 없습니다. 색인되길 원하는 페이지가 이 목록에 있을 때만 noindex를 삭제하면 됩니다.
이 상태는 오류가 아닙니다
"URL이 'NOINDEX'로 표시됨"은 페이지 색인 생성 보고서의 "색인이 생성되지 않음" 사유 중 하나로, 구글이 페이지를 색인하려다 noindex 명령어를 발견해 색인을 멈춘 상태입니다. 구글이 무언가를 잘못했거나 사이트에 문제가 생긴 것이 아니라, 사이트가 페이지에 걸어 둔 "색인하지 말라"는 지시를 그대로 따른 결과입니다. 구글 공식 문서는 이 상태를 "Google에서 페이지의 색인을 생성하려고 했지만 'noindex' 명령어를 발견하여 색인을 생성하지 않았습니다. 이 페이지의 색인을 생성하지 않으려고 했다면 다행입니다"라고 설명합니다 GSC 고객센터.
명칭 참고 - 이 항목의 영문 표제인 'Excluded by noindex tag'는 예전 버전 보고서에서 쓰이던 이름이고, 현재 공식 문서와 보고서에서는 "URL이 'NOINDEX'로 표시됨"(영문 "URL marked 'noindex'")으로 표기됩니다. 같은 상태를 가리키는 말입니다 GSC 고객센터.
noindex 명령어란
구글의 로봇 메타 태그 사양 문서는 noindex 규칙을 "검색결과에 이 페이지, 미디어 또는 리소스를 표시하지 않습니다"라는 지시로 정의합니다 Google 공식. 지정 방법은 두 가지입니다. 첫째, HTML 문서의 head 안에 메타 태그를 넣는 방법입니다.
<meta name="robots" content="noindex">둘째, HTTP 응답 헤더로 지정하는 방법입니다. 사양 문서는 "robots meta 태그에서 사용할 수 있는 규칙은 X-Robots-Tag로도 지정할 수 있습니다"라고 안내하며, PDF처럼 HTML이 아닌 파일에는 이 방식을 씁니다 Google 공식.
X-Robots-Tag: noindex문제인지 판단하는 기준 - 의도한 noindex와 실수 noindex
판단은 단순합니다. 이 상태의 URL 목록을 열고 "여기에 색인되길 원하는 페이지가 있는가" 하나만 확인하면 됩니다.
조치가 필요 없는 경우 - 의도한 noindex
- 로그인·관리자 페이지, 장바구니·결제 페이지
- 사이트 내부 검색결과 페이지, 필터·정렬 파라미터 페이지
- 태그 아카이브 등 얇은 목록성 페이지, 폼 제출 후 감사 페이지
이런 페이지가 목록에 있다면 noindex가 의도대로 작동하고 있다는 뜻입니다. 구글 문서가 "색인을 생성하지 않으려고 했다면 다행입니다"라고 쓴 그대로, 아무 조치도 필요 없습니다 GSC 고객센터.
조치가 필요한 경우 - 실수 noindex
가장 흔한 실수는 개발·스테이징 환경 설정이 남아 있는 경우입니다. Ahrefs는 "스테이징 환경 전체의 크롤링·색인을 막는 것은 좋은 관행이지만, 그 설정이 운영 환경으로 함께 배포된 채 잊히면 자연 검색 트래픽이 급락한다"고 경고합니다 Ahrefs 실측. 워드프레스의 '검색 엔진이 이 사이트를 색인하지 못하도록 차단' 옵션이 켜진 채 사이트를 오픈하는 경우가 대표적입니다. 색인되어야 할 페이지가 목록에 보이면 구글 공식 문서가 안내하는 절차대로 확인합니다.
- 보고서에서 URL 옆의 검사 아이콘을 클릭해 URL 검사 도구를 엽니다.
- '색인 생성 허용 여부' 항목에서 noindex가 색인을 막고 있는지 확인하고, 페이지 소스 또는 HTTP 응답 헤더에서 noindex를 검색합니다.
- '라이브 URL 테스트'로 현재 라이브 버전에도 noindex가 남아 있는지 확인합니다.
- 태그 또는 헤더를 삭제한 뒤 '색인 생성 요청'을 클릭합니다. GSC 고객센터 문서는 "페이지의 색인이 생성되도록 하려면 'NOINDEX' 명령어를 삭제해야 합니다"라고 명시합니다 GSC 고객센터.
noindex와 robots.txt 차단의 결정적 차이
"robots.txt로 막아도 같은 효과 아닌가"라는 오해가 많은데, 구글 공식 문서는 정반대로 안내합니다. robots.txt 소개 문서는 이 파일이 "주로 요청으로 인해 사이트가 오버로드되는 것을 방지하기 위해 사용하며, 웹페이지가 Google에 표시되는 것을 방지하기 위한 메커니즘이 아닙니다"라고 명시합니다 Google 공식. 특히 두 방법을 겹쳐 쓰면 안 됩니다. 구글의 noindex 가이드는 "robots.txt 파일로 페이지가 차단되거나 크롤러가 페이지에 액세스할 수 없다면 크롤러는 noindex 규칙을 절대 확인하지 않으며 페이지가 검색 결과에 계속 표시될 수 있습니다"라고 경고합니다 Google 공식. 차단하면 noindex를 읽을 수 없다는 뜻입니다.
| 구분 | noindex | robots.txt 차단 |
|---|---|---|
| 제어 대상 | 색인(검색결과 노출) | 크롤링(페이지 방문) |
| 크롤링 | 허용되어야 작동 | 차단 |
| 구글이 지시를 읽는 시점 | 페이지를 읽은 뒤 | 페이지를 읽기 전 |
| 검색결과 제외 보장 | 예 (크롤링 가능할 때) | 아니요 - 링크만으로 URL 색인 가능 |
robots.txt 소개 문서는 "다른 페이지 내의 설명 텍스트에서 내 페이지를 가리키는 경우 Google은 페이지를 방문하지 않고도 URL의 색인을 생성할 수 있습니다"라고 설명합니다 Google 공식. 그래서 페이지 색인 생성 보고서 문서도 "Google에서 페이지의 색인을 생성하지 않도록 하려면 robots.txt 차단을 삭제하고 'noindex' 명령어를 사용하세요"라고 안내합니다 GSC 고객센터. Ahrefs 역시 "색인에서 제거하려는 콘텐츠의 크롤링을 robots.txt에서 차단하지 마라. 검색엔진이 페이지를 다시 크롤링해 noindex 명령어를 발견하는 것을 막기 때문"이라고 같은 원칙을 실무 관점에서 설명합니다 Ahrefs 실측. 정리하면 - 검색결과에서 빼려면 noindex, 서버 부담을 줄이려면 robots.txt 이며, 두 가지를 같은 페이지에 함께 쓰면 noindex가 소용없어집니다.
