llms.txtは、ウェブサイトがパス/llms.txtにプレーンテキストまたはMarkdown形式のファイルを公開し、厳選されたリンクと要約を掲載するための提案された慣習である。これは、AIシステムや大規模言語モデルが、サイトの完全なHTMLをクロールして解析するよりも効率的にコンテンツを発見・理解できるようにすることを目的としている。2024年9月にfast.aiの共同創設者であるジェレミー・ハワードによって提案され、自動クローラーにサイトに関する構造化されたガイダンスを提供する確立されたrobots.txtやsitemap.xmlの慣習を明示的にモデルとしている。
この提案は実用的な問題に対応していた。現代のウェブページは、ナビゲーション、JavaScriptレンダリング、広告、レイアウトマークアップが多用されていることが多く、限られたコンテキストウィンドウ内で言語モデルが処理するにはコストが高く、信頼性に欠ける場合がある。一方、主要なページへの直接リンクを含む厳選されたMarkdown要約は、低コストで確実に消費できる。
形式と採用状況
典型的なllms.txtファイルは、サイトのH1タイトルと短い要約で始まり、その後に見出しでグループ化されたMarkdown形式のリンクリストが続き、多くの場合、完全なページコンテンツをMarkdownでレンダリングした対応するllms-full.txtファイルを指し示す。採用はまず、クリーンでクロール可能な技術コンテンツがすでに優先事項であった開発者ツール企業やドキュメントサイトの間で広がり、その後2025年から2026年にかけて、より広範な消費者向けおよびコンテンツプラットフォームに拡大した。事実上すべての主要クローラーで慣習として強制されているrobots.txtとは異なり、llms.txtには同等の普遍的なサポートがない。2020年代半ばの時点で、主要なAI研究所はそのモデルやクローラーがこのファイルを体系的に取得して使用することを確認しておらず、一部のコメンテーターは採用はほとんど投機的または象徴的であると述べている。
GEOとの関係と批判
この提案は、ジェネレーティブエンジン最適化、つまりAI回答エンジンによって引用される可能性を高めるコンテンツを作成する実践と頻繁に関連して議論される。適切に維持されたllms.txtはGEOの候補レバーの1つであるが、その引用率への実際の効果は検証されていない。批評家は、主要なAIシステムによる消費が確認されていない状況では、llms.txtは実証された最適化手法というよりも、意図表明や保険として機能すると主張している。また、AIエージェントは静的で厳選された要約に依存するのではなく、全ページブラウジングやツール使用にますます依存していると指摘する。支持者は、部分的な採用でもそれを尊重するエージェントや検索拡張生成パイプラインの摩擦を軽減し、不確実な採用状況に関係なく公開コストは低いと反論している。