Retrieval-augmented generation, allgemein als RAG abgekürzt, ist eine Technik, bei der ein Large Language Model mit einem Retrieval-System gekoppelt wird, das relevante Texte aus einer externen Quelle abruft, bevor das Modell seine Antwort generiert. Anstatt sich ausschließlich auf das während des Pretrainings in seinen Parametern kodierte Wissen zu verlassen, erhält das Modell Passagen, die zur Abfragezeit abgerufen werden, typischerweise in seinen Prompt eingefügt, und wird gebeten, unter Verwendung dieses bereitgestellten Materials zu antworten. Der Ansatz ermöglicht es einem Allzweckmodell, Fragen zu Inhalten zu beantworten, auf denen es nie trainiert wurde, einschließlich privater Dokumente, aktueller Ereignisse oder großer Textkorpora, die zu groß sind, um auf einmal in einen Kontextfenster zu passen.
Die Technik wurde unter dem Namen RAG in einem Papier von 2020 von Forschern bei Meta AI (damals Facebook AI Research) eingeführt, das ein vortrainiertes Sequenz-zu-Sequenz-Sprachmodell mit einem dichten Passagen-Retriever kombinierte und zeigte, dass Retrieval die faktische Genauigkeit bei wissensintensiven Aufgaben im Vergleich zu einem rein parametrischen Modell verbesserte. Die Idee baute auf älterer Forschung zu Information Retrieval und Frage-Antwort-Systemen auf, aber der RAG-Rahmen verband sie spezifisch mit generativen Transformer-Modellen und wurde zum Standardbegriff in der Branche, als Chat-Assistenten und Unternehmenssuchprodukte das Muster ab 2022 übernahmen.
Architektur
Eine typische RAG-Pipeline hat zwei Stufen. In der Retrieval-Stufe wird eine Abfrage in eine numerische Darstellung, ein Embedding, umgewandelt und mit einem vorberechneten Index von Embeddings für eine Dokumentensammlung verglichen, der meistens in einer Vektordatenbank für effiziente Nächste-Nachbarn-Suche gespeichert ist; diese Stufe ist eng mit semantischer Suche verwandt, die nach Bedeutung statt nach exakter Schlüsselwortübereinstimmung abruft. In der Generierungsstufe werden die am höchsten bewerteten Passagen zusammen mit der ursprünglichen Frage des Benutzers in den Prompt des Modells eingefügt, und das Modell erzeugt eine Antwort, die auf diesem abgerufenen Kontext basiert, wobei es seine allgemeine Sprachfähigkeit nutzt, während es auf die spezifischen bereitgestellten Fakten gelenkt wird. Viele Produktionssysteme fügen weitere Schritte hinzu, wie das Neubewerten abgerufener Passagen mit einem separaten Modell, das Aufteilen von Dokumenten in überlappende Segmente oder das Ausgeben mehrerer Retrieval-Abfragen für komplexe Fragen.
Motivation: Halluzination und Aktualität
RAG wird häufig als Abschwächung von Halluzination eingesetzt, der Tendenz von Sprachmodellen, plausibel klingende, aber falsche oder unbelegte Aussagen zu generieren. Da das parametrische Wissen eines Modells am Ende des Pretrainings festgelegt ist und veraltet, unvollständig oder für Nischen- und private Themen schlicht nicht vorhanden sein kann, ermöglicht die Verankerung einer Antwort in abgerufenem Quelltext dem Modell, spezifische Passagen zu zitieren und reduziert (wenn auch nicht beseitigt) die Rate erfundener Behauptungen. Es ermöglicht auch, dass dasselbe Modell auf viele private Datensätze angewendet werden kann, wie die interne Dokumentation eines Unternehmens oder die eigenen Dateien eines Kunden, ohne jegliches Feintuning, da der Retrieval-Index unabhängig vom Modell selbst ausgetauscht oder aktualisiert werden kann.
Anwendungen und Einschränkungen
RAG liegt den meisten Unternehmensprodukten zum „Chat mit Ihren Dokumenten“ zugrunde, Kundensupport-Assistenten, die auf einer Wissensdatenbank basieren, und Codierungsassistenten, die relevante Dateien oder Dokumentation abrufen, bevor sie antworten. Es ist auch eine häufige architektonische Komponente von KI-Agenten-Systemen, bei denen ein Agent während einer mehrstufigen Aufgabe Retrieval-Aufrufe als eine von mehreren verfügbaren Aktionen ausführen kann. Zu den Einschränkungen gehören die Empfindlichkeit gegenüber der Retrieval-Qualität, da ein Modell immer noch halluzinieren oder falsch antworten kann, wenn die abgerufenen Passagen irrelevant oder unvollständig sind; die zusätzliche Latenz und Infrastruktur zur Pflege eines Index; und die Tatsache, dass Retrieval nur hilft, wenn die benötigten Informationen irgendwo im indizierten Korpus vorhanden sind. Da Kontextfenster auf Hunderttausende von Tokens gewachsen sind, haben einige Praktiker darüber debattiert, ob das direkte Bereitstellen ganzer Dokumente im Prompt Retrieval in bestimmten Fällen ersetzen kann, obwohl RAG der Standardansatz für Korpora bleibt, die zu groß sind, um in den Kontext zu passen, und um große Dokumentensammlungen durchsuchbar und aktuell zu halten, ohne wiederholte Neuverarbeitung.