크롤링 예산 Crawl Budget
'크롤링 예산'은 구글이 한 사이트를 크롤링하는 데 쓸 수 있는 시간과 리소스의 양을 뜻하는 개념입니다. 서버가 감당할 수 있는 '크롤링 용량 한도'와 구글이 그 사이트를 크롤링하려는 정도인 '크롤링 수요' 두 요소로 결정됩니다. 구글은 페이지 수천 개 미만의 대부분 사이트는 크롤링 예산을 걱정할 필요가 없다고 공식적으로 안내합니다.
'크롤링 예산'은 무엇입니까
'크롤링 예산(crawl budget)'은 구글이 한 사이트를 크롤링하는 데 쓸 수 있는 시간과 리소스의 양을 가리키는 개념입니다. 구글 공식 문서 '대규모 사이트 소유자를 위한 크롤링 예산 관리 가이드'는 이를 '크롤링 용량 한도'와 '크롤링 수요'라는 두 요소의 조합으로 정의합니다 Google 공식.
웹의 페이지 수는 사실상 무한하지만 Googlebot이 크롤링에 쓸 수 있는 자원은 한정되어 있습니다. 그래서 구글은 사이트마다 얼마나 자주, 얼마나 많은 URL을 가져올지 한도를 정하는데, 크롤링과 색인 생성의 첫 단계인 크롤링이 가치 없는 URL에 낭비되면 정작 중요한 페이지의 발견과 갱신이 늦어집니다.
결론 먼저 - 대부분의 사이트는 신경 쓸 필요가 없습니다
결론부터 말하면, 페이지가 수천 개 미만인 대부분의 사이트는 크롤링 예산을 신경 쓸 필요가 없습니다. 구글 공식 가이드는 "사이트에 빠르게 변경되는 페이지가 많지 않거나 페이지가 게시된 당일에 크롤링되는 것 같다면 이 가이드를 참조하지 않아도 됩니다"라고 분명히 밝힙니다 Google 공식.
2017년 구글 검색 센트럴 블로그도 URL이 수천 개 미만인 사이트는 대체로 효율적으로 크롤링되므로 게시자 대부분은 크롤링 예산을 걱정할 필요가 없다고 밝혔습니다 Google 공식. 구글이 크롤링 예산 관리를 권하는 대상은 다음과 같습니다.
| 사이트 유형 | 구글이 제시한 기준 |
|---|---|
| 대규모 사이트 | 고유 페이지 100만 개 이상이면서 콘텐츠가 1주일에 1회 정도 변경 |
| 중간 규모 이상 사이트 | 고유 페이지 1만 개 이상이면서 콘텐츠가 매일 변경 |
| 규모와 무관 | 서치 콘솔에서 '발견됨 - 현재 색인이 생성되지 않음'으로 분류된 URL의 비율이 높은 사이트 |
즉 페이지가 수백~수천 개 규모인 일반적인 기업 사이트나 블로그에서 색인 누락이 생긴다면, 원인은 크롤링 예산이 아니라 다른 곳에 있을 가능성이 큽니다. 문제가 아닌 것을 문제로 오해하지 않는 것이 이 개념을 이해하는 첫걸음입니다.
크롤링 예산을 결정하는 두 요소
크롤링 용량 한도 - 서버가 감당할 수 있는 만큼
구글이 사이트의 서버에 부담을 주지 않으면서 가져갈 수 있는 최대치입니다. 공식 문서는 이를 동시 연결 수와 가져오기 사이의 지연 시간으로 계산하며, 사이트가 빠르고 안정적으로 응답하면 한도가 올라가고 응답이 느려지거나 서버 오류가 늘면 구글이 크롤링 속도를 스스로 낮춘다고 설명합니다 Google 공식.
크롤링 수요 - 구글이 크롤링하고 싶어 하는 정도
서버가 감당할 수 있어도 구글이 원하지 않으면 크롤링은 늘지 않습니다. 공식 문서는 크롤링 수요를 좌우하는 요인으로 '인식된 인벤토리'(구글이 파악한 그 사이트의 전체 URL 규모), '인기도'(인터넷에서 인기가 높은 URL일수록 더 자주 크롤링), '비활성'(콘텐츠 변경을 반영하기 위한 재크롤링) 세 가지를 듭니다 Google 공식.
크롤링 예산을 낭비하는 요인
2017년 구글 검색 센트럴 블로그는 "가치가 낮은 URL"이 많으면 크롤링과 색인 생성에 부정적인 영향을 준다며 대표 유형을 늘어놓았습니다 Google 공식.
- 패싯 탐색(필터·정렬 조합마다 생기는 파라미터 URL)과 세션 식별자
- 사이트 내 중복 콘텐츠
- 소프트 404 페이지
- 해킹된 페이지
- 무한 공간(달력의 '다음 달' 링크처럼 끝없이 생성되는 URL)과 프록시
- 저품질·스팸 콘텐츠
현재의 공식 가이드도 무한 스크롤 페이지, 정렬만 다른 중복 버전, 소프트 404, 중복 콘텐츠를 크롤링 낭비 요인으로 꼽습니다 Google 공식. 구글의 게리 일리스(Gary Illyes)는 2022년 "인터넷의 약 60%가 중복 콘텐츠"라고 밝혔는데, 이 중복 URL이 크롤링 예산을 갉아먹는 대표 요인으로 꼽힙니다 Ahrefs 실측. 실제로 대규모 사이트 로그를 분석한 Botify는 2024년, 최적화하지 않은 사이트에서는 전략적 URL의 월 40%만 크롤링되고 나머지 60%는 정기적으로 크롤링되지 못한다고 보고했습니다 Botify 실측.
크롤링 예산 관리 방법 (해당되는 사이트만)
위 기준에 해당하는 대규모 사이트라면, 구글 공식 가이드가 권장하는 방법은 다음과 같습니다 Google 공식.
- URL 인벤토리를 정리합니다 - 크롤링할 필요가 없는 URL은 robots.txt로 차단하고, 중복 콘텐츠는 대표 URL로 통합합니다.
- 영구 삭제된 페이지는 404 또는 410 상태 코드를 반환해 불필요한 재방문을 줄입니다.
- 사이트맵을 최신 상태로 유지합니다.
- 긴 리디렉션 체인을 제거합니다.
- 페이지와 서버의 응답 효율을 개선합니다 - 빠르게 응답할수록 같은 시간에 더 많은 페이지를 크롤링할 수 있습니다.
내 사이트의 크롤링 현황 확인하기
구글이 내 사이트를 실제로 어떻게 크롤링하는지는 서치 콘솔의 '크롤링 통계 보고서'(설정 → 크롤링 통계)에서 확인할 수 있습니다. 구글 고객센터 문서는 이 보고서가 총 크롤링 요청 수, 평균 응답 시간, 응답 코드·파일 형식·Googlebot 유형별 분류, 그리고 서버 가용성을 보여주는 '호스트 상태'를 제공한다고 설명합니다 GSC 고객센터.
크롤링을 늘리면 순위가 오를까 - 공식과 실측
마지막으로 가장 흔한 오해 하나를 짚어 두겠습니다. '크롤링을 더 많이 시키면 순위가 오른다'는 생각인데, 여기서 구글의 공식 설명과 업계 실측 데이터가 언뜻 어긋나 보입니다.
| 구글 공식 입장 | 크롤링 예산은 순위 요소가 아니며, 크롤링 속도를 높인다고 검색 순위가 오르지는 않습니다. 크롤링은 색인 생성의 전제 조건일 뿐입니다. Google 공식 |
|---|---|
| 전문가 실측 결과 | 대규모 사이트에서는 크롤링 예산을 정리하면 색인과 트래픽이 함께 늘어납니다. Botify 사례에서는 낭비 URL을 걷어낸 뒤 3개월 만에 자연 유입이 두 배로 증가했습니다. Botify 실측 |
둘은 모순이 아니라 규모의 문제입니다. 크롤링 자체는 순위 신호가 아니지만, 크롤링되지 않은 페이지는 색인과 순위 경쟁의 출발선에조차 서지 못합니다. 사이트가 수천 페이지 규모라면 크롤링 예산은 잊고 콘텐츠와 색인 품질에 집중하고, 수십만 페이지를 넘는 사이트라면 로그 분석으로 낭비 URL부터 걷어내는 것이 실무의 갈림길입니다.
