llms.txt ist ein vorgeschlagener Standard für Websites, eine Datei im Klartext- oder Markdown-Format unter dem Pfad /llms.txt zu veröffentlichen, die kuratierte Links und Zusammenfassungen auflistet, die darauf abzielen, KI-Systemen und großen Sprachmodellen zu helfen, den Inhalt einer Website effizienter zu finden und zu verstehen, als durch das Durchsuchen und Parsen des vollständigen HTML-Codes. Der Vorschlag wurde im September 2024 von Jeremy Howard, Mitbegründer von fast.ai, unterbreitet und orientiert sich ausdrücklich an den seit langem etablierten Konventionen robots.txt und sitemap.xml, die automatisierten Crawlern bereits strukturierte Anleitungen zu einer Website geben.
Der Vorschlag reagierte auf ein praktisches Problem: Moderne Webseiten sind oft stark mit Navigation, JavaScript-Rendering, Werbung und Layout-Markup belastet, was ihre Verarbeitung durch ein Sprachmodell innerhalb eines begrenzten Context window kostspielig oder unzuverlässig macht, während eine kuratierte Markdown-Zusammenfassung mit direkten Links zu Schlüsselseiten kostengünstig und zuverlässig konsumiert werden könnte.
Format und Verbreitung
Eine typische llms.txt-Datei beginnt mit einem H1-Titel und einer kurzen Zusammenfassung der Website, gefolgt von Markdown-formatierten Linklisten, die unter Überschriften gruppiert sind und oft auf eine entsprechende llms-full.txt-Datei mit vollständigem Seiteninhalt in Markdown verweisen. Die Verbreitung begann zunächst bei Entwickler-Tool-Unternehmen und Dokumentationsseiten, wo sauberer, crawlbarer technischer Inhalt bereits Priorität hatte, bevor sie sich bis 2025 und 2026 auf breitere Verbraucher- und Inhaltsplattformen ausdehnte. Im Gegensatz zu robots.txt, das durch Konvention bei praktisch allen großen Crawlern durchgesetzt wird, hat llms.txt keine vergleichbare universelle Unterstützung; Mitte der 2020er-Jahre hatte kein großes KI-Labor bestätigt, dass seine Modelle oder Crawler die Datei systematisch abrufen und verwenden, was einige Kommentatoren dazu veranlasste, die Verbreitung als weitgehend spekulativ oder symbolisch zu beschreiben.
Beziehung zu GEO und Kritik
Der Vorschlag wird häufig im Zusammenhang mit generativer Suchmaschinenoptimierung diskutiert, der Praxis, Inhalte so zu gestalten, dass sie eher von KI-Antwortmaschinen zitiert werden, da eine gut gepflegte llms.txt ein möglicher Hebel für GEO ist, auch wenn ihre tatsächliche Wirkung auf Zitierraten unbestätigt bleibt. Kritiker haben argumentiert, dass llms.txt in Ermangelung einer bestätigten Nutzung durch große KI-Systeme eher als Absichtserklärung oder Absicherung fungiert denn als bewährte Optimierungstechnik, und dass KI-Agenten zunehmend auf vollständiges Seiten-Browsing und Werkzeugnutzung zurückgreifen, anstatt sich auf eine statische kuratierte Zusammenfassung zu verlassen. Befürworter entgegnen, dass selbst eine teilweise Verbreitung die Reibung für die Agenten und Retrieval-Pipelines verringert, die sie respektieren, und dass die Veröffentlichung der Konvention unabhängig von der unsicheren Annahme wenig kostet.