AI 크롤러 AI Crawler
AI 크롤러(AI Crawler)는 ChatGPT·Claude·Perplexity 같은 AI 서비스가 웹 콘텐츠를 수집하려고 운영하는 봇입니다. OpenAI·Anthropic·Perplexity 공식 문서는 봇을 훈련용(GPTBot·ClaudeBot), 검색·인용용(OAI-SearchBot·Claude-SearchBot·PerplexityBot), 사용자 요청용(ChatGPT-User·Claude-User)으로 나누고 robots.txt로 제어합니다. 검색용 봇을 막으면 AI 답변에 인용되지 않습니다.
AI 크롤러란 무엇이고 왜 중요한가
AI 크롤러는 ChatGPT, Claude, Perplexity, Gemini 같은 AI 서비스가 웹 콘텐츠를 수집하려고 운영하는 봇입니다. 전통 검색엔진의 Googlebot이 크롤링·색인을 위해 사이트를 방문하듯, AI 크롤러는 모델 학습 데이터 확보, AI 검색 색인, 사용자 요청 시 실시간 열람을 위해 방문합니다. OpenAI, Anthropic, Perplexity는 각각 공식 문서에서 자사 크롤러의 이름·용도·제어 방법을 공개합니다.
규모는 이미 무시할 수 없습니다. Vercel의 2024년 말 네트워크 분석에 따르면 OpenAI의 GPTBot은 한 달간 5억 6,900만 건, Anthropic의 Claude 크롤러는 3억 7,000만 건을 요청했습니다 SEJ 실측. 같은 기간 주요 AI 크롤러 4종(GPTBot·Claude·AppleBot·PerplexityBot)의 합산 트래픽은 Googlebot 요청량(45억 건)의 약 28% 에 달했습니다 SEJ 실측.
차단의 의미는 전통 검색과 다릅니다. OpenAI 공식 문서는 검색용 봇인 OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않는다고 안내합니다 OpenAI 공식. GEO(생성형 엔진 최적화) 관점에서 크롤러 허용하는지는 모든 노출 전략의 출발점입니다.
훈련용·검색용·사용자 요청용 - 용도별 구분
같은 회사라도 용도별로 봇을 나눠 운영합니다. OpenAI 공식 문서는 훈련용 GPTBot, 검색 색인용 OAI-SearchBot, 사용자가 요청할 때 페이지를 여는 ChatGPT-User를 구분해 설명합니다 OpenAI 공식. Anthropic 헬프센터 문서도 훈련용 ClaudeBot, 검색용 Claude-SearchBot, 사용자 요청용 Claude-User 세 종류를 안내합니다 Anthropic 공식. Perplexity 공식 문서는 PerplexityBot이 모델 학습용이 아니라 Perplexity 검색 노출을 위한 봇이라고 분명히 밝힙니다 Perplexity 공식.
| 크롤러 | 운영사 | 용도 | 차단 시 영향 (공식 문서 기준) |
|---|---|---|---|
| GPTBot | OpenAI | 훈련용 (모델 학습 데이터 수집) | 학습 데이터 제공 거부 신호. 검색 노출은 OAI-SearchBot이 별도 담당 |
| OAI-SearchBot | OpenAI | 검색·인용용 (ChatGPT 검색 색인) | ChatGPT 검색 답변에 사이트가 표시되지 않음 |
| ChatGPT-User | OpenAI | 사용자 요청 실시간 방문 | 사용자가 시작한 동작이라 robots.txt가 적용되지 않을 수 있음 |
| ClaudeBot | Anthropic | 훈련용 | 향후 콘텐츠가 학습 데이터셋에서 제외 |
| Claude-SearchBot | Anthropic | 검색 품질용 색인 | 검색 최적화 색인에서 제외 |
| Claude-User | Anthropic | 사용자 요청 실시간 방문 | 사용자 질문에 대한 페이지 회수 불가 |
| PerplexityBot | Perplexity | 검색·인용용 (모델 학습에 사용 안 함) | Perplexity 검색 결과에서 제외 |
| Perplexity-User | Perplexity | 사용자 요청 실시간 방문 | 일반적으로 robots.txt를 무시. 차단은 WAF 등 서버 레벨로 |
| Google-Extended | 제어 토큰 (Gemini 학습·그라운딩 허용 여부) | Gemini 학습·그라운딩에서 제외. 구글 검색 포함·순위에는 무영향 |
Google-Extended는 특히 헷갈리기 쉽습니다. 구글 검색센터의 크롤러 문서는 Google-Extended가 별도 크롤러가 아니라 robots.txt에서 쓰는 독립 제품 토큰이며, 구글이 수집한 콘텐츠를 Gemini 학습과 그라운딩에 쓸지만 제어한다고 설명합니다 Google 공식. 같은 문서는 Google-Extended가 사이트의 구글 검색 포함되는지에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 명시합니다 Google 공식. 또 구글의 AI 기능 안내 문서는 AI 오버뷰 노출이 Googlebot 대상 robots.txt와 스니펫 제어(nosnippet, max-snippet)로 다뤄지며 Google-Extended 차단으로는 막을 수 없다고 안내합니다 Google 공식.
robots.txt 허용·차단 예시
제어는 robots.txt 에서 User-agent 별로 선언합니다. 학습 데이터 제공 여부와 AI 답변 노출 여부는 별개의 결정이므로, "훈련은 거부하되 검색·인용은 허용" 같은 조합이 가능합니다.
# AI 검색·인용 봇 - 허용 (AI 답변에 인용되기를 원하는 경우)
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# AI 훈련용 봇 - 사이트 정책에 따라 선택
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /다만 두 가지 한계를 알아야 합니다. 첫째, 구글 검색센터의 robots.txt 소개 문서는 robots.txt의 지시가 크롤러 행동을 강제할 수 없으며 따르는 것은 크롤러의 몫이라고 명시합니다 Google 공식. 규칙을 무시하는 봇은 서버·방화벽 레벨에서 따로 차단해야 합니다. 둘째, 사용자 요청형 봇은 robots.txt 적용 대상이 아닐 수 있습니다. OpenAI 공식 문서는 ChatGPT-User의 동작이 사용자가 시작한 것이므로 robots.txt 규칙이 적용되지 않을 수 있다고 안내합니다 OpenAI 공식. Perplexity 공식 문서도 Perplexity-User가 일반적으로 robots.txt 규칙을 무시한다고 명시합니다 Perplexity 공식.
공식 준수 선언과 실측의 간극 - Perplexity 사례
그런데 robots.txt를 지킨다고 공식 안내하는 봇조차 실제 동작은 다를 수 있습니다. 2025년 이 문제가 크게 불거진 사례가 Perplexity 입니다. 공식 문서와 제3자 실측이 정면으로 엇갈립니다.
| 공식 입장 (Perplexity) | PerplexityBot을 robots.txt에서 허용하라고 안내하며, 이 봇이 robots.txt 규칙을 지키는 크롤러라고 설명합니다. Perplexity 공식 |
|---|---|
| 전문가 실측 결과 (Cloudflare) | 2025년 8월 Cloudflare는 Perplexity가 위장·미신고 크롤러(맥OS 크롬으로 위장, IP·ASN 교체)로 크롤링 거부 지시를 우회하는 것을 수만 개 도메인·하루 수백만 건 규모로 관측했고, 이를 근거로 검증된 봇 목록에서 제외했습니다. Cloudflare 실측 |
차이가 나는 이유는 단순합니다. 공식 문서의 준수 선언은 정책을 밝힌 것이지 기술적 보증이 아니기 때문입니다. 실무에서는 공식 선언을 그대로 믿기보다, 서버 로그로 실제 접근 여부를 확인하고 꼭 막아야 할 콘텐츠는 방화벽·CDN 레벨에서 확실하게 차단하는 편이 안전합니다.
제작사 관점의 실무 체크포인트
- 핵심 콘텐츠는 서버 렌더링 HTML로 제공합니다. Vercel 분석에 따르면 주요 AI 크롤러는 자바스크립트 파일을 가져가긴 해도 렌더링(실행)하지 않습니다 SEJ 실측. 자바스크립트로만 그려지는 콘텐츠는 이들에게 보이지 않으므로, 서버에서 완성된 HTML을 내려주는 구조가 유리합니다.
- 서버 로그를 공식 IP 목록과 맞춰 봅니다. access.log의 User-Agent 필터링으로 방문 현황을 확인하되, User-Agent 사칭 봇이 있으므로 검증이 필요합니다. OpenAI는 공식 문서에서 봇별 IP 목록(gptbot.json, searchbot.json, chatgpt-user.json)을 공개합니다 OpenAI 공식.
- CDN·보안 설정을 함께 점검합니다. Cloudflare는 2025년 7월부터 신규 가입 사이트에서 AI 크롤러를 기본 차단하도록 전환했습니다 Search Engine Land 보도. robots.txt에서 허용해도 방화벽이 막으면 의미가 없으므로, 크롤러가 실제로 200 응답을 받는지 확인합니다.
- 보조 수단으로 llms.txt 도입을 검토합니다. llmstxt.org가 제안한 규격으로, 사이트의 핵심 문서를 AI가 읽기 좋은 형태로 안내합니다. 크롤러 허용 정책과 함께 설계할 수 있습니다.
자주 하는 실수
- GPTBot 하나만 막고 "AI 차단 완료"로 여기는 경우 - OpenAI 봇만 여러 종류이고, 다른 업체 봇은 그대로 들어옵니다 OpenAI 공식.
- 훈련 거부와 인용 노출을 한 덩어리로 묶어 AI 봇을 한꺼번에 Disallow 하는 경우 - OpenAI 공식 문서는 OAI-SearchBot을 차단하면 ChatGPT 검색 답변에 표시되지 않는다고 안내합니다 OpenAI 공식.
- Google-Extended 차단이 구글 검색 순위를 떨어뜨린다고 오해하거나, 반대로 AI 오버뷰 노출을 막아 준다고 오해하는 경우 - 구글 검색센터 문서 기준으로 둘 다 사실이 아닙니다 Google 공식.
- 보안 플러그인·방화벽·CDN이 AI 크롤러를 자동 차단 중인 것을 모른 채 robots.txt만 관리하는 경우 - 크롤러가 실제로 정상 응답을 받는지 로그로 확인해야 합니다 Search Engine Land 보도.
함께 읽기
참고 자료
- Google's common crawlers (Google-Extended 포함) - Google Search Central
- Introduction to robots.txt - Google Search Central
- AI features and your website - Google Search Central
- OpenAI web crawlers (GPTBot, OAI-SearchBot, ChatGPT-User) - OpenAI
- Does Anthropic crawl data from the web? - Claude Help Center (Anthropic)
- Perplexity crawlers (PerplexityBot, Perplexity-User) - Perplexity
- AI Crawlers Account For 28% Of Googlebot's Traffic, Study Finds - Search Engine Journal
- Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives - Cloudflare
- Cloudflare to block AI crawlers by default with new Pay Per Crawl initiative - Search Engine Land
