llms.txt llms.txt

llms.txt는 AI 언어모델(LLM)이 웹사이트의 핵심 문서를 빠르게 파악하도록 사이트 루트 경로에 마크다운 형식으로 정리해 두자는 제안 단계의 파일입니다. 2024년 9월 llmstxt.org를 통해 제안됐지만 구글·OpenAI·Anthropic 어느 곳도 공식 지원을 밝힌 적이 없고, 구글 검색센터는 AI 노출을 위해 별도의 "AI 텍스트 파일"을 만들 필요가 없다고 안내합니다.

GEO·AI 검색 2026. 7. 11 업데이트 By 박혜정

표준이 아니라 제안

llms.txt는 AI 언어모델이 사이트의 핵심 문서를 빠르게 파악하도록 루트 경로(/llms.txt)에 마크다운으로 정리해 두자는 제안입니다. 2024년 9월 3일 Answer.AI의 제러미 하워드(Jeremy Howard)가 llmstxt.org로 공개했고, W3C·IETF 같은 표준화 기구의 승인을 받은 표준이 아니라 제안(proposal) 단계라는 점이 이 용어를 이해하는 출발점입니다 llms.txt 명세.

배경은 이렇습니다. LLM이 한 번에 읽을 수 있는 컨텍스트 분량은 사이트 전체를 담기에 부족하고, 내비게이션·광고·스크립트가 섞인 HTML을 깨끗한 텍스트로 바꾸기도 어렵습니다. 그래서 "이 사이트의 중요한 문서는 이것"이라고 마크다운 한 장으로 추려 AI에게 건네주자는 생각입니다 llms.txt 명세.

robots.txt 와는 역할이 반대입니다. 구글 검색센터는 robots.txt를 "검색엔진 크롤러가 사이트의 어떤 URL에 접근할 수 있는지 알려주는 파일"로 정의합니다 Google 공식. 접근을 제어하는 robots.txt와 달리, llms.txt는 읽어 주길 바라는 콘텐츠를 추천하는 파일입니다.

작성 형식 - llmstxt.org 명세

명세에 따르면 유일한 필수 요소는 H1 제목(사이트·프로젝트명)이고, 그 아래 인용 블록으로 한 줄 요약을, H2 섹션 아래에 [이름](URL): 설명 형태의 링크 목록을 둡니다 llms.txt 명세.

# STUDIO-JT

> 워드프레스 맞춤 테마 제작과 SEO/GEO 컨설팅을 제공하는 웹에이전시입니다.

## 서비스

- [맞춤 테마 제작](https://example.com/services/theme/): 디자인 시안 기반 워드프레스 테마 개발 과정
- [SEO 컨설팅](https://example.com/services/seo/): 기술 SEO 진단과 개선 절차

## Optional

- [회사 소개](https://example.com/about/): 연혁과 팀 구성

명세는 "Optional" 이라는 이름의 H2 섹션을 특별 취급합니다 - 컨텍스트가 부족할 때 AI가 건너뛰어도 되는 문서를 두는 자리입니다. 각 페이지 URL에 .md를 덧붙인 클린 마크다운 버전을 함께 제공하는 방식도 같은 제안에 포함됩니다 llms.txt 명세.

구글 공식 입장과 실측 결과

가장 중요한 사실부터 확인합니다. 구글 검색센터의 "AI features and your website" 문서는 AI 오버뷰·AI 모드에 노출되기 위해 "새로운 기계 판독 파일, AI 텍스트 파일, 마크업을 만들 필요가 없다"고 분명히 밝히고, 기존 구글 검색과 같은 SEO 모범 사례를 적용하라고 안내합니다 Google 공식. 실제 트래픽 데이터도 같은 방향을 가리킵니다.

구글 공식 입장	AI 노출을 위해 별도의 "AI 텍스트 파일"을 만들 필요가 없고, 존 뮬러는 llms.txt를 검색엔진이 더는 쓰지 않는 keywords 메타 태그에 비유했습니다. Google 공식
전문가 실측 결과	13만7천여 도메인 로그 분석에서 유효한 llms.txt의 97%가 한 달간 요청을 한 건도 받지 못했고, 답변 생성용 AI 검색 봇 요청은 약 1%였습니다. 일부 벤더는 인용 상승을 주장하나 공개 검증은 제한적입니다. Ahrefs 실측

공식 입장과 실측은 서로 부딪치지 않고 같은 결론을 가리킵니다. 구글은 llms.txt가 검색에 "필요 없다"고 하고, 실측은 지금 시점에 실제 요청이 거의 없다는 현황을 보여줍니다. 그래서 실무 판단은 하나로 모입니다 - 게시 비용이 낮으니 만들어 둘 수는 있지만, 직접 효과를 기대하고 다른 SEO 작업보다 우선할 근거는 아직 없습니다. 정작 구글 안에서 입장이 갈리는 지점은 따로 있는데, 이어지는 절에서 다룹니다.

Ahrefs가 2026년 자사 웹 분석 대상 137,210개 도메인을 조사한 결과 약 28%가 llms.txt를 게시했지만, 유효한 파일의 97%는 조사 기간 한 달(2026년 5월) 동안 요청을 한 건도 받지 못했습니다 Ahrefs 실측. 들어온 요청도 96%가 봇이었고, 가장 큰 항목은 SEO 감사 도구(21.7%)였으며, 실제 답변 생성을 위해 가져가는 AI 검색(retrieval) 봇은 약 1%에 그쳤습니다 Ahrefs 실측.

구글의 존 뮬러(John Mueller)도 부정적입니다. 그는 "어떤 AI 서비스도 llms.txt를 사용한다고 밝힌 적이 없고, 서버 로그를 보면 확인조차 하지 않는다"며 검색엔진이 더는 쓰지 않게 된 keywords 메타 태그에 비유했습니다 존 뮬러(Google). 본문과 다른 요약을 담아도 검증할 방법이 없다는 신뢰 문제(클로킹 소지)도 함께 지적했습니다.

구글도 제품마다 다르다 - Lighthouse는 점검, 검색팀은 불필요 (2026)

2026년 5월, 구글 Lighthouse 13.3에 "에이전트 브라우징(Agentic Browsing)"이라는 새 감사 카테고리가 추가됐고 PageSpeed Insights(PSI)에도 곧 반영됐습니다. 이 카테고리의 항목 하나가 사이트 루트의 llms.txt 존재를 점검하며, 크롬 개발자 문서는 llms.txt 파일을 만들어 사이트 루트에 두라고 안내합니다 Chrome 개발자.

그런데 같은 구글의 검색팀은 정반대로 안내합니다. 검색 AI 기능 문서는 이 기능에 나오려고 기계 판독용 파일이나 AI 텍스트 파일, 마크업을 새로 만들 필요가 없다고 명시하며, llms.txt를 언급조차 하지 않습니다 Google 공식.

어긋나 보이는 이유는 보는 목적이 다르기 때문입니다. 검색팀은 "구글 검색 순위나 AI 개요에 영향을 주는가"를 말하고(답은 아니오), Lighthouse는 "AI 에이전트가 이 사이트를 읽고 다룰 준비가 됐는가"라는 다른 질문을 봅니다. 검색 랭킹 신호가 아니라 에이전트 이용 준비도 점검입니다. 게다가 이 카테고리는 아직 "개발 중(under development)"인 정보성 항목이라 점수를 깎지 않고, 파일이 없으면(404) "해당 없음(N/A)"으로 처리하며 파일 제공은 현재 선택입니다 Chrome 개발자.

정리하면, "구글이 llms.txt를 권장한다"는 절반만 맞습니다. 검색 노출이 목적이면 불필요하고(검색팀 명시), AI 에이전트 브라우징 대비가 목적이면 크롬 개발자 도구가 선택적으로 권합니다. 업계에서 "어느 구글 제품에 묻느냐에 따라 답이 다르다"고 정리한 이유입니다 Search Engine Land.

검증된 AI 가시성 확보법 - GEO 연구

그렇다면 AI 검색 노출은 무엇으로 올릴까요. 프린스턴대·IIT Delhi 연구진의 GEO 논문(KDD 2024)은 1만 개 쿼리(GEO-bench)와 BingChat 유사 생성엔진으로 9개 기법을 실험했습니다. 가장 효과가 큰 기법은 통계 추가·인용문 추가·출처 인용이었고, 최상위 기법은 baseline 대비 위치 보정 단어 수(Position-Adjusted Word Count)를 41%, 주관적 인상(Subjective Impression)을 28% 끌어올렸습니다 GEO 논문.

특히 출처 인용은 검색결과 5위 사이트의 생성엔진 가시성을 115.1% 높인 반면 1위 사이트는 평균 30.3% 낮춰, 하위 사이트에 유리하게 평준화했습니다 GEO 논문. 반대로 키워드 반복(Keyword Stuffing)은 효과가 없거나 역효과였습니다. 이들 기법 전체가 생성엔진 노출을 최대 40%까지 높였지만 효과는 도메인·쿼리 유형별로 달라 분야별 접근이 필요합니다. 정리하면 AI 가시성의 지렛대는 별도 파일이 아니라 본문 속 통계·인용·출처였습니다.

실무 체크포인트

AI 노출의 본체는 렌더링된 본문입니다. 구글 문서대로 명확한 제목 구조·발췌 가능한 문장·크롤링 가능성을 먼저 점검하고, llms.txt는 그다음의 보조 수단으로 둡니다 Google 공식.
AI 크롤러의 접근 제어는 llms.txt가 아니라 robots.txt에서 합니다. 구글은 콘텐츠가 Gemini 모델 학습·그라운딩에 쓰일지를 robots.txt의 Google-Extended 토큰으로 관리한다고 안내합니다 Google 공식.
게시한다면 본문과 같은 내용만 담습니다. 다른 요약은 검증할 방법이 없어 신뢰 문제(클로킹 소지)가 생깁니다.
링크 목록 파일이므로 URL 구조가 바뀌면 함께 갱신하고, 서버 접근 로그에서 AI 크롤러가 실제로 /llms.txt를 가져가는지 주기적으로 확인합니다.

자주 하는 실수

robots.txt와 혼동 - llms.txt 에는 차단 효과가 전혀 없습니다. 크롤러 접근 제어 수단은 robots.txt 입니다.
페이지 전체를 그대로 덤프 - 명세의 목적은 중요한 문서를 골라 주는 큐레이션이며, Optional 섹션으로 우선순위를 나누도록 설계되어 있습니다. 전부 나열하면 의미가 사라집니다.
한 번 만들고 그냥 둠 - URL 구조가 바뀌면 깨진 링크 목록만 남습니다.
llms.txt 게시를 GEO(AI 검색 최적화) 대책의 완료로 착각 - 구글 공식 문서는 별도 파일을 만들 필요 없이 기존 SEO 모범 사례를 그대로 적용하라고 안내합니다.