LlamaIndex ist ein amerikanisches Unternehmen für künstliche Intelligenz mit Hauptsitz in San Francisco, Kalifornien. Das Unternehmen ist auf agentische optische Zeichenerkennung (OCR) und Dokument-Intelligence-Infrastruktur spezialisiert und entwickelt Tools und Frameworks, die es Large Language Models (LLMs) ermöglichen, strukturierte und unstrukturierte Datenquellen aufzunehmen, zu indizieren und abzufragen. Seine Produkte werden verwendet, um Anwendungen zu erstellen, die generative KI-Modelle mit proprietären oder privaten Daten verbinden und so Einschränkungen bei Modell-Kontextfenstern und Datenzugänglichkeit adressieren.
Das gleichnamige Open-Source-Framework des Unternehmens, ebenfalls LlamaIndex genannt, bietet ein auf Python basierendes Toolkit zur Erstellung von Anwendungen zur retrieval-augmentierten Generierung (RAG) und KI-Agenten. Es umfasst Datenkonnektoren, Indexstrukturen, Abfrage-Engines und Orchestrierungs-Primitive für Agenten. Darüber hinaus bietet LlamaIndex kommerzielle Produkte wie LlamaCloud, einen verwalteten Dienst, und LlamaParse, ein agentisches OCR-System, das eine Multi-Agenten-Pipeline zur Verarbeitung komplexer Dokumentlayouts verwendet.
Geschichte
LlamaIndex geht auf ein Nebenprojekt zurück, das Ende 2022 von Jerry Liu begonnen wurde, damals Machine-Learning-Engineering-Manager beim KI-Sicherheits-Startup Robust Intelligence und zuvor Forschungswissenschaftler in der Abteilung für autonome Fahrzeuge von Uber. Beim Experimentieren mit OpenAIs GPT-3-Modell stieß Liu auf dessen Unfähigkeit, zuverlässig mit privaten oder proprietären Daten zu arbeiten, sowie auf sein enges Kontextfenster von 4.096 Token. Um dies zu beheben, baute er ein kleines Indizierungsprogramm und veröffentlichte es im November 2022 unter dem Namen GPT Tree Index auf GitHub. Innerhalb weniger Monate hatte das Projekt über 16.000 GitHub-Sterne, 200.000 monatliche Downloads und einen Discord-Server mit rund 6.000 Entwicklern angesammelt, was Liu davon überzeugte, daraus ein Unternehmen zu machen. Simon Suo, ein ehemaliger Uber-Kollege, der später beim Startup für autonomes Fahren Waabi arbeitete, kam als Mitgründer hinzu.
Das Unternehmen wurde im April 2023 formell gegründet, und das Projekt wurde in LlamaIndex umbenannt. Im Juni 2023 gab das Unternehmen eine Seed-Finanzierungsrunde über 8,5 Millionen US-Dollar bekannt, angeführt von Greylock Partners, mit Beteiligung von Jack Altman, Lenny Rachitsky und Charles Xie. Im folgenden Jahr beschrieb eine von InfoWorld veröffentlichte Umfrage LlamaIndex als Orchestrierungsanbieter, der dabei hilft, LLMs mit privaten Datenquellen zu verbinden, und hob dessen Hauptfokus auf Datenaufnahme, Indizierung und Abruf hervor.
Im März 2025 beteiligte sich LlamaIndex zusammen mit Cisco, LangChain, Glean und Galileo am Start von AGNTCY, einer Open-Source-Initiative zur Unterstützung der Interoperabilität und Zusammenarbeit zwischen KI-Agenten. Im selben Monat kündigte LlamaIndex eine Series-A-Finanzierungsrunde über 19 Millionen US-Dollar an, wodurch sich die gesamten offengelegten Mittel auf etwa 27,5 Millionen US-Dollar beliefen. Zu den Investoren gehörten Databricks und KPMG, das im Rahmen einer kommerziellen Partnerschaft eine Minderheitsbeteiligung erwarb. Gleichzeitig startete LlamaIndex LlamaCloud, einen verwalteten Cloud-Dienst, der auf dem LlamaIndex-Framework basiert. Das Unternehmen veröffentlichte außerdem LlamaParse, ein agentisches OCR-System, das eine Multi-Agenten-Pipeline kombiniert, die Computer Vision, spezialisierte Vision-Language-Modelle und LLM-basierte Argumentation nutzt, um Dokumentlayouts, Tabellen, Diagramme und Handschrift zu verarbeiten, die für herkömmliche OCR-Systeme schwierig sein können.
Im Oktober 2025 veröffentlichte IBM einen Open-Source-Python-Konnektor, der es IBM Db2 ermöglicht, als Vektor-Store in LlamaIndex-Workflows zu fungieren. Im März 2026 veröffentlichte LlamaIndex LiteParse, eine Open-Source-, TypeScript-native Parsing-Bibliothek, die für die lokale, offline Ausführung entwickelt wurde. LiteParse läuft vollständig auf dem Rechner des Benutzers ohne externe API-Abhängigkeiten oder Python-Anforderungen. Später wurde LiteParse als Rust-Projekt mit nativen TypeScript- und Python-Bindings neu gestartet, zusätzlich zur Unterstützung von Markdown-Ausgabe. Im April 2026 führte LlamaIndex ParseBench ein, einen Benchmark zur Bewertung von Dokument-Parsing-Systemen für Unternehmensdokumente.
Open-Source-Framework
Das ursprüngliche Open-Source-Framework von LlamaIndex wurde als Python-Bibliothek entwickelt, zusätzlich zu seinen OCR-Produkten, für die Erstellung von Anwendungen zur retrieval-augmentierten Generierung (RAG) und KI-Agenten. Das Framework bietet Datenkonnektoren, Indexstrukturen, Abfrage-Engines und Orchestrierungs-Primitive für Agenten. LlamaIndex führte die Workflows-Abstraktion ein, ein ereignisgesteuertes System zur Erstellung mehrstufiger Agenten-Pipelines mit dauerhaftem Zustand, das langlaufende Dokumentverarbeitungsaufgaben über Sitzungen hinweg ermöglicht. Die Open-Source-Bibliotheken sind kommerziell ohne Einschränkungen lizenziert, was eine breite Akzeptanz in Unternehmen und Forschungsumgebungen ermöglicht.
Das Framework ist für die Arbeit mit verschiedenen KI-Modellen und Datenquellen konzipiert, einschließlich Amazon Web Services-, Azure- und Google Cloud-Speicherdiensten sowie Vektor-Datenbanken und traditionellen Datenbanken. Es unterstützt die Integration mit OpenAI-Modellen und anderen LLM-Anbietern und ermöglicht es Entwicklern, Anwendungen zu erstellen, die private Dokumente, Datenbanken und APIs abfragen.
Produkte und Dienstleistungen
LlamaCloud ist ein verwalteter Cloud-Dienst, der eine gehostete Version des LlamaIndex-Frameworks bereitstellt und skalierbare Datenaufnahme-, Indizierungs- und Abruffunktionen bietet. Er ist für Organisationen konzipiert, die produktionsreife Infrastruktur benötigen, ohne ihre eigene Bereitstellung zu verwalten. LlamaParse, das agentische OCR-Produkt, verwendet eine Multi-Agenten-Pipeline, um Text und Struktur aus komplexen Dokumenten zu extrahieren, einschließlich solcher mit Tabellen, Diagrammen und Handschrift. LiteParse, das 2026 veröffentlicht wurde, ist eine Open-Source-Parsing-Bibliothek, die lokal und offline läuft, mit einem Rust-Kern und Bindings für TypeScript und Python.
ParseBench, das im April 2026 eingeführt wurde, ist ein Benchmark zur Bewertung von Dokument-Parsing-Systemen für Unternehmensdokumente. Es bietet einen standardisierten Satz von Aufgaben und Metriken, um die Leistung verschiedener OCR- und Parsing-Tools zu vergleichen.
Publikationen und Forschung
LlamaIndex war Gegenstand mehrerer wissenschaftlicher Forschungsarbeiten, darunter Studien zu erweitertem Kontext für InstructGPT, dokumentgestützter Antwortgenerierung in informationssuchenden Dialogen und kontextuellem Abfragen in der additiven Fertigung. Ein Papier aus dem Jahr 2025 des Korean Institute of Smart Media beschrieb einen mit Patientenakten kombinierten Notfall-Rettungsführer, der auf LlamaIndex aufbaut, während eine weitere Studie aus dem Jahr 2025 große Sprachmodelle zur Informationsextraktion aus unstrukturierten elektronischen Gesundheitsakten in der stationären Altenpflege evaluierte. Diese Publikationen zeigen die Verwendung des Frameworks in Bereichen wie Gesundheitswesen, Fertigung und Konversations-KI.
Die Tools des Unternehmens wurden in akademischen und industriellen Forschungsumgebungen übernommen, insbesondere für Anwendungen, die die Integration von LLMs mit domänenspezifischen Datenquellen erfordern. Die Open-Source-Natur des Frameworks hat seine Verwendung in einer Vielzahl von Projekten erleichtert, von einfachen Dokument-Q&A-Systemen bis hin zu komplexen Multi-Agenten-Workflows.
Siehe auch
- Retrieval-augmentierte Generierung
- KI-Agent
- Datenaufnahme
- Dokument-Intelligence