크롤링과 색인 Crawling & Indexing

크롤링과 색인(Crawling & Indexing)은 검색엔진이 링크와 사이트맵을 따라 웹페이지를 발견해 콘텐츠를 내려받고(크롤링), 그 내용을 분석해 검색 색인에 저장하는(색인) 과정입니다. 구글은 색인되지 않은 페이지는 검색 결과에 나올 수 없다고 안내하며, 이 두 단계가 모든 검색 노출의 출발점이 됩니다.

기본 2026. 7. 11 업데이트 By 박혜정

검색 노출은 크롤링·색인·게재 3단계를 통과합니다

크롤링과 색인은 검색엔진이 링크와 사이트맵을 따라 페이지를 발견해 콘텐츠를 내려받고(크롤링), 그 내용을 분석해 검색 색인에 저장하는(색인) 과정입니다. 구글 검색 센터의 How Google Search Works 문서는 검색이 크롤링(crawling)·색인(indexing)·게재(serving)의 세 단계로 작동하며, 각 단계는 앞 단계를 통과해야만 진행된다고 설명합니다 Google 공식. 색인이 안 된 페이지는 순위 경쟁에 참가조차 못 한 상태이므로, 모든 검색 노출은 이 두 단계에서 출발합니다.

구글은 공식 How Search Works 페이지에서 검색 색인이 "수천억 개(hundreds of billions)의 웹페이지를 포함하며 1억 GB를 훌쩍 넘는 규모"라고 밝힙니다 Google 공식. 규모가 크다고 해서 모든 페이지가 저장되는 것은 아닙니다. 같은 구글 문서는 "색인은 보장되지 않으며, 구글이 처리하는 모든 페이지가 색인되는 것은 아니다"라고 분명히 밝힙니다 Google 공식. 색인은 자동 등록이 아니라 심사에 가깝다는 뜻입니다.

단계	구글 문서가 설명하는 내용	이 단계에서 막히면
크롤링(수집)	Googlebot이 링크와 사이트맵을 따라 페이지를 방문해 콘텐츠를 내려받습니다	검색엔진이 페이지의 존재 자체를 모릅니다
색인(저장)	수집한 콘텐츠를 분석해 구글 색인 데이터베이스에 저장합니다	검색 색인에 페이지가 남지 않습니다
게재(노출)	검색어와의 관련성·품질을 계산해 결과를 돌려줍니다	색인은 됐지만 순위가 낮습니다

"검색에 안 나와요" 진단은 위에서 아래로

페이지가 검색에 나오지 않을 때는 파이프라인 위에서부터 아래로 내려가며 원인을 좁힙니다. 순서를 지키는 것이 핵심입니다.

색인 여부 확인 - 구글 서치 콘솔의 URL 검사 도구로 등록됐는지 확인합니다. 이미 등록되어 있다면 크롤링·색인이 아니라 랭킹 문제입니다.
크롤링 차단 확인 - robots.txt 가 그 경로를 Disallow 하고 있지 않은지 확인합니다.
noindex 확인 - 페이지 소스의 meta robots 태그와 HTTP 응답의 X-Robots-Tag 헤더를 확인합니다.
캐노니컬 확인 - 다른 URL이 대표로 지정되어 있으면 이 페이지는 색인에서 빠지고 대표 URL로 통합됩니다.
발견·품질 문제 - 위 네 가지가 정상이면 내부 링크 부족, 사이트맵 누락, 콘텐츠 품질을 점검합니다.

구글 서치 콘솔의 페이지 색인 보고서는 "크롤링됨 - 현재 색인이 생성되지 않음" 같은 상태로 어느 단계에서 막혔는지 알려 줍니다 GSC 고객센터. 감으로 추측하는 대신 여기에서 진단을 시작하면 시간이 크게 줄어듭니다.

noindex · robots.txt 차단 · 캐노니컬은 작동 단계가 다릅니다

세 가지 모두 "검색에서 빼는 수단"으로 뭉뚱그려지기 쉽지만, 구글 문서에 따르면 작동하는 단계가 서로 다릅니다.

수단	지시 내용	크롤링	색인
robots.txt Disallow	"이 경로는 방문하지 마세요"	차단	직접 차단 못 함 - 외부 링크로 발견되면 URL이 색인될 수 있음
meta robots noindex	"방문은 하되 저장하지 마세요"	허용	차단
캐노니컬 태그	"여러 URL 중 대표는 이쪽입니다"	허용	대표 URL로 통합 (구글 문서상 규칙이 아닌 힌트)

구글 robots.txt 소개 문서는 robots.txt가 "웹페이지를 구글에서 제외하는 수단이 아니다(it is not a mechanism for keeping a web page out of Google)"라고 못 박습니다 Google 공식. Disallow 된 페이지라도 다른 사이트가 링크하면 URL이 색인될 수 있으며, 확실히 제외하려면 noindex를 쓰거나 비밀번호로 보호하라고 안내합니다.

# 1) robots.txt - 크롤링(방문)을 막습니다. 색인 자체를 막지는 못합니다
User-agent: *
Disallow: /private/

<!-- 2) meta robots - 색인(저장)을 막습니다. 크롤링이 허용되어야 읽힙니다 -->
<meta name="robots" content="noindex">

# 3) HTTP 응답 헤더 - PDF 등 HTML이 아닌 파일의 색인 차단
X-Robots-Tag: noindex

가장 흔한 조합 실수는 robots.txt로 차단한 페이지에 noindex를 함께 넣는 것입니다. 구글 색인 생성 차단 문서는 "noindex 규칙이 효력을 가지려면 페이지가 robots.txt로 차단되어 있지 않고 크롤러가 접근할 수 있어야 한다"고 설명합니다 Google 공식. 방문 자체를 막으면 크롤러가 noindex 지시를 읽지 못하고, 외부 링크로 URL이 발견되면 내용 없이 색인에 남을 수 있습니다. 색인에서 확실히 제외하려면 크롤링은 열어 두고 noindex를 사용해야 합니다.

캐노니컬 태그는 구글 표준 URL 지정 문서 기준으로 "규칙이 아닌 힌트(a hint, not a rule)"입니다 Google 공식. 구글은 여러 신호를 모아 가장 완전하고 유용한 페이지를 대표로 선택하며, 지정한 것과 다른 URL을 대표로 고를 수도 있습니다. 따라서 캐노니컬은 중복 통합용이지 색인 제외 수단이 아닙니다.

대규모 사이트에서 구글은 정말 모든 페이지를 크롤링할까

크롤링 예산(crawl budget)을 두고 구글 공식 안내와 대규모 사이트 운영자의 실측이 갈립니다. 구글은 대부분의 사이트가 신경 쓸 필요가 없다고 말하지만, 로그를 직접 분석한 업계 데이터는 규모가 커지면 크롤링 자체가 조용한 병목이 된다고 보여 줍니다.

구글 공식 입장	대부분의 사이트는 크롤링 예산을 신경 쓸 필요가 없습니다. "페이지가 빠르게 변하는 대규모 사이트가 아니거나 게시 당일에 크롤링된다면 이 가이드를 읽을 필요가 없다"며, 관리가 필요한 대상은 100만 페이지 이상 대형 사이트로 좁힙니다. Google 공식
전문가 실측 결과	대규모 사이트에서는 구글이 페이지의 절반가량을 아예 크롤링하지 않습니다. 보티파이가 4억 1,300만 페이지와 60억 건의 Googlebot 요청 로그를 분석한 결과, 평균적인 엔터프라이즈 사이트는 페이지의 약 51%만 크롤링됐습니다(2018). Botify 실측

두 설명은 전제하는 사이트 규모가 다르기 때문에 갈립니다. 구글의 "신경 쓸 필요 없다"는 페이지가 수천 개 미만인 보통 사이트를 전제로 하고, 보티파이의 절반이라는 수치는 페이지가 수십만~수백만인 대형 사이트의 로그에서 나온 값입니다. 실무에서는 URL이 수천 개 미만이면 크롤링 예산을 지나치게 손대지 말고 사이트맵과 색인 커버리지만 챙기고, 파라미터로 URL이 폭증하는 대형·전자상거래 사이트라면 서치 콘솔 크롤링 통계와 서버 로그로 중요한 페이지가 실제로 수집되는지 확인하는 편이 안전합니다.

배포 단계에서 자주 생기는 크롤링·색인 사고

크롤링·색인 문제의 상당수는 콘텐츠가 아니라 배포·설정 단계에서 생깁니다. 오픈 전후에 다음을 확인합니다.

오픈 시 차단 해제 - 워드프레스에는 개발 중 검색엔진 색인을 막는 "검색엔진이 이 사이트를 색인하지 않도록" 옵션이 있는데, 오픈 후 해제를 잊으면 전체 사이트가 색인에서 빠집니다. 오픈 체크리스트에 반드시 넣습니다.
스테이징 서버 격리 - 개발·스테이징 서버가 색인되면 운영 사이트와 중복 콘텐츠가 됩니다. 구글 문서 안내대로 접근 인증(비밀번호)이나 noindex로 차단합니다.
XML 사이트맵 제출 - 구글 사이트맵 문서에 따르면 사이트맵은 크롤러가 중요한 페이지와 갱신 시점을 찾도록 돕습니다 Google 공식. 내부 링크만으로 발견되기 어려운 XML 사이트맵 대상 페이지에 특히 유용합니다.
자바스크립트 렌더링 확인 - 구글 자바스크립트 SEO 기초 문서는 크롤링·렌더링·색인이 별도 단계이며, 렌더링된 HTML에 콘텐츠가 없으면 색인될 수 없다고 설명합니다 Google 공식. 본문이 JS 실행 후에만 나타나는 구조라면 서치 콘솔 URL 검사의 렌더링된 HTML로 실제 수집 결과를 확인합니다.
저품질 URL 대량 생성 방지 - 필터·정렬 파라미터가 URL을 무한히 만들어 내면 크롤링 자원이 분산되고 정작 중요한 페이지의 수집이 늦어질 수 있습니다.

자주 하는 실수

robots.txt에 noindex 지시를 쓰는 것 - 구글은 2019년 9월 1일부터 robots.txt 안의 noindex 규칙을 지원하지 않는다고 공식 발표했습니다 Google 공식. 색인 제외는 meta robots 또는 X-Robots-Tag로 처리해야 합니다.
색인 제외를 캐노니컬로 처리하는 것 - 구글 문서상 캐노니컬은 강제력 없는 힌트라 무시될 수 있습니다. 확실한 제외는 noindex가 맡습니다.
색인을 순위 보장으로 오해하는 것 - 구글 문서는 색인 후에도 게재(랭킹) 단계가 별도로 있다고 설명합니다. 색인은 출발선일 뿐입니다.
오픈 직후 조급해하는 것 - 구글은 색인을 보장하지 않으며 크롤링 빈도와 시점은 사이트마다 다르다고 안내합니다. 사이트맵 제출과 URL 검사·색인 요청을 마쳤다면 기다림도 진단의 일부입니다.