La génération augmentée par récupération, communément abrégée RAG, est une technique dans laquelle un grand modèle de langage est associé à un système de récupération qui extrait du texte pertinent d'une source externe avant que le modèle ne génère sa réponse. Plutôt que de s'appuyer uniquement sur les connaissances encodées dans ses paramètres lors du pré-entraînement, le modèle reçoit des passages récupérés au moment de la requête, généralement insérés dans son invite, et est invité à répondre en utilisant ce matériel fourni. Cette approche permet à un modèle à usage général de répondre à des questions sur un contenu sur lequel il n'a jamais été entraîné, y compris des documents privés, des événements récents ou de grands corpus trop volumineux pour tenir entièrement dans une fenêtre de contexte.
La technique a été introduite sous le nom de RAG dans un article de 2020 par des chercheurs de Meta AI (alors Facebook AI Research), qui combinait un modèle de langage séquence-à-séquence pré-entraîné avec un récupérateur de passages dense, montrant que la récupération améliorait la précision factuelle sur des tâches à forte intensité de connaissances par rapport à un modèle purement paramétrique. L'idée s'appuyait sur des recherches plus anciennes en recherche d'information et en réponse à des questions, mais le cadre RAG l'a spécifiquement liée aux modèles transformeurs génératifs et est devenu le terme standard dans l'industrie à mesure que les assistants conversationnels et les produits de recherche d'entreprise ont adopté ce schéma à partir de 2022.
Architecture
Un pipeline RAG typique comporte deux étapes. Dans l'étape de récupération, une requête est convertie en une représentation numérique, une plongement, et comparée à un index précalculé de plongements pour une collection de documents, le plus souvent stocké dans une base de données vectorielle pour une recherche efficace du plus proche voisin ; cette étape est étroitement liée à la recherche sémantique, qui récupère par le sens plutôt que par une correspondance exacte de mots-clés. Dans l'étape de génération, les passages les mieux classés sont insérés dans l'invite du modèle aux côtés de la question originale de l'utilisateur, et le modèle produit une réponse conditionnée par ce contexte récupéré, s'appuyant sur sa capacité linguistique générale tout en étant orienté vers les faits spécifiques fournis. De nombreux systèmes de production ajoutent des étapes supplémentaires, telles que le reclassement des passages récupérés avec un modèle distinct, le découpage des documents en segments se chevauchant, ou l'émission de plusieurs requêtes de récupération pour des questions complexes.
Motivation : hallucination et fraîcheur
Le RAG est largement utilisé comme une atténuation de l'Hallucination (AI), la tendance des modèles de langage à générer des déclarations plausibles mais fausses ou non étayées. Parce que la connaissance paramétrique d'un modèle est fixée à la fin du pré-entraînement et peut être obsolète, incomplète, ou simplement absente pour des sujets de niche et privés, ancrer une réponse dans un texte source récupéré permet au modèle de citer des passages spécifiques et réduit (sans toutefois éliminer) le taux de déclarations fabriquées. Cela permet également d'appliquer le même modèle à de nombreux ensembles de données privés, tels que la documentation interne d'une entreprise ou les fichiers propres d'un client, sans aucun ajustement fin, puisque l'index de récupération peut être échangé ou mis à jour indépendamment du modèle lui-même.
Applications et limites
Le RAG sous-tend la plupart des produits d'entreprise « discutez avec vos documents », des assistants de support client ancrés dans une base de connaissances, et des assistants de codage qui récupèrent des fichiers ou de la documentation pertinents avant de répondre. C'est également un composant architectural courant des systèmes d'agent IA, où un agent peut émettre des appels de récupération comme l'une des plusieurs actions disponibles lors d'une tâche en plusieurs étapes. Les limites incluent la sensibilité à la qualité de la récupération, car un modèle peut encore halluciner ou répondre incorrectement si les passages récupérés sont non pertinents ou incomplets ; la latence ajoutée et l'infrastructure de maintenance d'un index ; et le fait que la récupération n'aide que si l'information nécessaire existe quelque part dans le corpus indexé. Alors que les fenêtres de contexte ont grandi pour atteindre des centaines de milliers de jetons, certains praticiens ont débattu de la question de savoir si fournir simplement des documents entiers directement dans l'invite peut remplacer la récupération dans certains cas, bien que le RAG reste l'approche standard pour les corpus trop volumineux pour tenir dans le contexte, et pour maintenir de grandes collections de documents consultables et à jour sans retraitement répété.