홈 SEO 용어사전 크롤링 속도 조절

크롤링 속도 조절 Reduce Crawl Rate

'크롤링 속도 조절'(Reduce Crawl Rate)은 구글봇이 사이트를 찾아오는 빈도를 낮춰 서버 부담을 줄이는 일입니다. 서치 콘솔에 있던 크롤링 속도 제한 도구는 2024년 1월 8일자로 폐기되어 지금은 화면에서 찾을 수 없습니다. 급할 때 쓰는 방법은 429·503 같은 오류 응답으로 서버가 직접 알리는 것과 구글봇 신고 양식 두 가지이며, 오류 응답을 이틀 넘게 유지하면 해당 주소가 색인에서 빠질 수 있습니다.

테크니컬 2026. 8. 1 업데이트 By 박혜정

무엇을 하려는 일인가

크롤링 속도 조절은 구글봇이 사이트를 찾아오는 빈도를 낮춰 서버가 받는 부담을 덜어 주는 일입니다. 방문자가 몰린 것도 아닌데 사이트가 느려지고, 서버 접속 기록을 열어 보니 구글봇 요청이 빼곡할 때 찾게 됩니다.

한때는 서치 콘솔 안에 막대를 좌우로 움직여 이 속도를 낮추는 화면이 있었습니다. 지금 이 화면을 찾다가 못 찾아 검색으로 오셨다면, 사이트 설정이 잘못된 것이 아닙니다. 화면 자체가 없어졌습니다. 구글 서치 콘솔 메뉴를 아무리 뒤져도 나오지 않는 이유부터 정리합니다.

결론 먼저 - 그 설정은 2024년 1월 8일에 없어졌습니다

서치 콘솔의 크롤링 속도 제한 도구는 2024년 1월 8일자로 폐기됐습니다. 폐기 예고 글은 2023년 11월 24일 구글 검색 센트럴 블로그에 올라왔고, 구글의 게리 일리스와 니르 칼루시가 작성했습니다. Google 공식

업계 보도도 예고대로 그날 실제로 없어졌다고 확인했습니다. 옛 설정 페이지 주소로 들어가면 지금은 폐기 안내 글로 넘어갑니다. 이 기능은 폐기 시점 기준으로 15년 전에 나왔지만 새 서치 콘솔로 끝내 옮겨지지 않은 옛 화면이었습니다. Search Engine Roundtable

없앤 이유는 간단합니다. 구글은 크롤링을 판단하는 방식과 다른 도구들이 그동안 나아지면서 이 도구의 쓸모가 사라졌다고 밝혔습니다. 구글 자신은 이 도구를 10년 넘게 제공해 왔다고만 적었습니다. Google 공식

막대 대신 서버 응답이 속도를 정합니다

지금 구글봇은 서버가 요청에 어떻게 답하는지를 보고 스스로 속도를 조절합니다. 특정 주소 구간에서 500번대 응답이 계속 나오면 거의 곧바로 크롤링을 늦추고, 응답이 눈에 띄게 느려져도 알아서 늦춥니다. Google 공식

옛 도구가 오히려 굼떴습니다. 새로 설정한 제한값이 실제 크롤링에 반영되기까지 하루가 넘게 걸리기도 했습니다. Google 공식

도구를 없애면서 구글은 최소 크롤링 속도 자체를 예전 하한선과 비슷한 수준까지 낮췄습니다. 검색 수요가 낮은 사이트라면 과거에 운영자가 손으로 맞춰 둔 값을 사실상 그대로 존중하는 셈입니다. Google 공식

급할 때 쓸 수 있는 방법은 두 가지입니다

방법	어떤 상황에 쓰나	반영 속도	치러야 하는 값
오류 상태 코드 반환 (500 · 503 · 429)	몇 시간에서 하루이틀, 급하게 크롤링을 줄여야 할 때	가장 빠름	이틀을 넘기면 해당 주소가 색인에서 빠질 수 있음
구글봇 신고 양식	서버 구조상 오류 응답을 내보낼 수 없을 때, 구글봇 활동이 평소와 다를 때	검토에 며칠	속도를 올려 달라는 요청은 받지 않음

구글 공식 문서는 급하게 크롤링을 줄여야 하면 크롤링 요청에 200 대신 500, 503, 429 응답을 돌려주라고 안내합니다. Google 공식 신고 양식은 평소와 다른 구글봇 활동이나 비상 상황을 위해 남겨 두었지만, 속도를 줄이는 가장 빠른 길은 서버 응답으로 알리는 것이라고 구글이 밝혔습니다. Google 공식

양식 주소는 search.google.com/search-console/googlebot-report 이며 구글 계정 로그인이 필요합니다. 구글봇 신고 양식 다만 서버 구조상 오류 응답이 불가능한 경우에 쓰는 예외 통로이고, 사이트에 알맞은 속도를 적어 내야 하며 검토와 처리에 며칠이 걸릴 수 있습니다. Google 공식

이틀이 고비입니다

오류 응답으로 속도를 낮추는 방법은 오래 끌면 안 됩니다. 구글은 하루이틀을 넘기지 말라고 권고하며, 같은 주소에서 이 상태 코드가 며칠간 관측되면 그 주소가 구글 색인에서 빠질 수 있다고 명시합니다. Google 공식

구체적인 기간도 나와 있습니다. 503이나 429를 돌려주면 구글봇은 약 이틀 동안 그 주소들을 다시 시도합니다. 며칠 이상 이어지면 구글이 사이트 크롤링을 영구적으로 늦추거나 멈추게 되니, 부하가 가라앉는 즉시 정상 응답으로 되돌려야 합니다. Google 공식

영향 범위도 좁지 않습니다. 낮아진 속도는 호스트 이름 전체에 걸립니다. 오류를 낸 주소뿐 아니라 정상적으로 내용을 보여 주는 주소까지 함께 느려집니다. 오류가 줄어들면 속도는 자동으로 다시 올라갑니다. Google 공식

크롤링을 줄이면 뒤따르는 일도 넓게 퍼집니다. 새 페이지 발견이 줄고, 이미 있는 페이지의 갱신이 뜸해져 가격이나 재고 변경이 검색에 늦게 반영되며, 지운 페이지가 색인에 더 오래 남습니다. 구글 광고에서는 캠페인이 취소되거나 일시중지되고 광고가 나가지 않을 수도 있습니다. Google 공식

이렇게 줄이면 안 됩니다

서버 응답으로 속도를 알린다는 말을 아무 오류나 던지라는 뜻으로 읽으면 사고가 납니다. 구글이 쓰지 말라고 못 박은 방법 하나와, 애초에 속도 조절 수단이 못 되는 방법 둘을 함께 정리했습니다.

401 · 403 · 404 등 4xx 응답

구글 공식 문서는 크롤링 속도를 제한하려고 401과 403 상태 코드를 쓰지 말라고 명시합니다. 429를 뺀 4xx 응답은 크롤링 속도를 낮추는 수단으로는 듣지 않습니다. Google 공식 게리 일리스도 403과 404는 속도를 빨리 낮춰 주지 않으며 오히려 반대 효과가 날 수 있다고 밝혔습니다. Search Engine Roundtable

구글은 2023년 2월에 아예 별도 공지를 냈습니다. 사이트 운영자와 일부 콘텐츠 전송망(CDN)이 404를 비롯한 4xx 응답으로 구글봇 속도를 낮추려는 시도가 늘었다며 그러지 말아 달라고 요청한 글입니다. 429를 제외한 4xx는 콘텐츠를 구글 검색에서 제거시키고, 더 나쁜 경우는 robots.txt 파일까지 4xx로 응답할 때입니다. 그 파일이 아예 없는 것처럼 취급되어, 막아 두었던 경로까지 구글봇이 알게 됩니다. Google 공식

429만 예외입니다. 구글은 429를 서버가 과부하라는 신호로 읽고 서버 오류로 취급합니다. Google 공식 서버 오류(5xx)와 429는 크롤링을 일시적으로 늦추게 만들지만, 이미 색인된 주소도 결국은 빠집니다. 색인에서 빼려는 목적이라면 액세스 금지(403) 같은 차단 응답이 아니라 다른 방법을 써야 합니다.

robots.txt 의 crawl-delay 지시어

구글은 crawl-delay 를 지원하지 않습니다. 공식 robots.txt 사양은 지원 항목을 user-agent, allow, disallow, sitemap 네 가지로 못박고 crawl-delay 는 지원하지 않는다고 적어 두었습니다. Google 공식 다른 검색엔진이 읽을 수는 있지만 구글봇에게는 그저 무시되는 줄입니다.

robots.txt 로 막으면 검색에서도 빠진다는 오해

robots.txt 는 요청이 몰려 사이트가 버거워지는 것을 막는 크롤링 관리 수단이지, 페이지를 구글에서 빼는 장치가 아닙니다. Google 공식 다른 페이지가 설명 문구와 함께 그 주소로 링크하면 구글은 페이지를 방문하지 않고도 주소를 색인할 수 있습니다. 검색 결과에서 빼려면 noindex 나 비밀번호 보호를 써야 합니다. Google 공식

한 가지 더 조심할 점이 있습니다. 위에서 인용한 2023년 2월 구글 공지는 지금도 첫 번째 해법으로 서치 콘솔에서 크롤링 속도를 일시적으로 줄이라고 안내합니다. 그 선택지는 2024년 1월 8일에 없어졌습니다. Google 공식 구글 자기 문서조차 이렇게 낡은 대목이 남아 있고, 검색하면 옛 자료가 먼저 올라옵니다. 이 주제에서 화면을 못 찾는 일이 반복되는 이유입니다.

대부분은 손댈 필요가 없습니다

구글 공식 입장	구글봇은 서버 응답과 응답 시간을 보고 알아서 속도를 낮추며, 도구를 없애면서 최소 크롤링 속도까지 낮춰 두었습니다. 별도로 조절할 자리를 둘 필요가 사라졌다는 설명입니다. Google 공식
전문가 실측 결과	구글봇 크롤링 자체는 늘었습니다. 클라우드플레어 집계로 2024년 5월 대비 2025년 5월 96% 증가했고, 2025년 4월에는 2024년 5월보다 145% 많은 수준까지 치솟아 이 기간의 정점을 찍었습니다. 구글봇이 갑자기 늘었다는 체감은 추세와 어긋나지 않습니다. Cloudflare 데이터

늘었다고 곧장 속도를 낮추는 것은 순서가 틀렸습니다. 구글은 크롤링이 급증했을 때 가장 흔한 원인으로 사이트 주소 구조의 비효율을 꼽습니다. 조건을 걸어 걸러 보는 필터와 정렬 기능, 날짜마다 주소가 생기는 달력, 동적 검색 광고 대상 세 가지가 대표적입니다. Google 공식

그래서 구글은 감속에 손대기에 앞서 호스팅 업체에 확인하고 최근 서버 접속 기록을 열어 트래픽의 출처부터 파악하라고 강하게 권합니다. Google 공식 크롤링 예산 문서와 함께 읽으면, 조절해야 할 대상이 구글봇의 속도가 아니라 쓸데없이 불어난 주소 목록이라는 점이 드러납니다.

찾아온 손님이 구글봇이 아닐 때

서버를 힘들게 하는 요청이 정말 구글봇인지부터 가려야 합니다. 확인 순서는 이렇습니다.

기록에 찍힌 이름이 AdsBot 이면 원인은 동적 검색 광고 대상일 가능성이 큽니다. 이 크롤링은 3주마다 되풀이되므로, 감당이 어려우면 광고 대상을 줄이거나 서버 용량을 늘려야 합니다. Google 공식
구글봇을 사칭하는 요청일 수 있습니다. 구글은 역방향 DNS 조회나 공개 IP 목록으로 진짜 구글 요청인지 확인하는 방법을 공식으로 제공합니다. Google 공식
AI 크롤러일 수도 있습니다. 클라우드플레어 레이더 기준으로 전 세계 웹 트래픽의 약 30%가 봇이며, 일부 지역에서는 사람이 만든 트래픽을 넘어섭니다. Cloudflare 데이터

AI 크롤러 판도는 1년 만에 뒤집혔습니다. AI 크롤러끼리만 견준 비중에서 GPTBot 이 5%에서 30%로 뛰고 Meta-ExternalAgent 가 19%로 새로 들어온 반면, 1위였던 Bytespider 는 42%에서 7%로 떨어졌습니다. Cloudflare 데이터 기록에 찍힌 이름을 확인하지 않으면 구글봇 탓으로 돌린 채 엉뚱한 곳을 손보게 됩니다.

AI 크롤러를 막는 일은 검색 크롤링과 별개 문제입니다. Google-Extended 는 robots.txt 에서 쓰는 제어용 이름일 뿐 따로 다니는 크롤러가 아니며, 제미나이 학습과 답변 근거 활용 여부만 관리합니다. 구글 검색에 실리는지 여부나 순위에는 영향을 주지 않습니다. Google 공식 Google-CloudVertexBot 역시 사이트 소유자가 직접 요청한 Vertex AI 에이전트 구축용 크롤링에만 관여하고 구글 검색을 비롯한 다른 제품에는 영향이 없습니다. Google 공식