llms.txt는 웹사이트가 /llms.txt 경로에 일반 텍스트 또는 Markdown 파일을 게시하여, AI 시스템과 대규모 언어 모델이 사이트의 전체 HTML을 크롤링하고 파싱하는 것보다 더 효율적으로 콘텐츠를 찾고 이해할 수 있도록 선별된 링크와 요약을 나열하는 제안된 규칙입니다. 이는 2024년 9월 fast.ai의 공동 창립자인 제레미 하워드가 제안했으며, 이미 자동화된 크롤러에 구조화된 지침을 제공하는 오랫동안 확립된 robots.txt 및 sitemap.xml 규칙을 명시적으로 모델로 삼았습니다.
이 제안은 실용적인 문제에 대응했습니다. 현대 웹 페이지는 종종 탐색, JavaScript 렌더링, 광고, 레이아웃 마크업으로 무거워져 제한된 컨텍스트 창 내에서 언어 모델이 처리하기에 비용이 많이 들거나 신뢰할 수 없지만, 핵심 페이지로의 직접 링크가 포함된 선별된 Markdown 요약은 저렴하고 안정적으로 소비될 수 있습니다.
형식 및 채택
일반적인 llms.txt 파일은 사이트의 H1 제목과 짧은 요약으로 시작하며, 그 뒤에 제목 아래에 그룹화된 Markdown 형식의 링크 목록이 이어지며, 종종 전체 페이지 콘텐츠가 Markdown으로 렌더링된 해당 llms-full.txt 파일을 가리킵니다. 채택은 먼저 개발자 도구 회사와 문서 사이트 사이에서 확산되었으며, 여기서 깨끗하고 크롤링 가능한 기술 콘텐츠가 이미 우선순위였고, 이후 2025년과 2026년을 거쳐 더 넓은 소비자 및 콘텐츠 플랫폼으로 확장되었습니다. 사실상 모든 주요 크롤러에서 규칙에 따라 시행되는 robots.txt와 달리, llms.txt는 동등한 보편적 지원이 없습니다. 2020년대 중반 현재 주요 AI 연구소 중 어느 곳도 모델이나 크롤러가 이 파일을 체계적으로 가져와 사용한다고 확인하지 않았으며, 일부 평론가들은 채택이 대체로 추측적이거나 상징적이라고 설명했습니다.
GEO와의 관계 및 비판
이 제안은 생성 엔진 최적화와 함께 자주 논의되는데, 이는 콘텐츠가 AI 답변 엔진에 인용될 가능성을 높이는 관행이며, 잘 유지된 llms.txt는 GEO의 한 후보 수단이지만 인용률에 대한 실제 효과는 검증되지 않았습니다. 비판가들은 주요 AI 시스템의 소비가 확인되지 않은 상황에서 llms.txt는 입증된 최적화 기술보다는 의도 표명이나 헤지 역할을 하며, AI 에이전트는 정적 선별 요약에 의존하기보다 점점 전체 페이지 탐색과 도구 사용을 선호한다고 주장했습니다. 지지자들은 부분적 채택만으로도 이를 존중하는 에이전트와 검색 증강 생성 파이프라인의 마찰을 줄이고, 불확실한 채택에도 불구하고 이 규칙을 게시하는 비용이 거의 들지 않는다고 반박했습니다.