L'ingénierie de contexte est la pratique consistant à construire délibérément tout ce qu'un modèle de langage voit au moment de l'inférence, y compris les instructions système, les documents récupérés, les sorties d'outils, l'historique de conversation et la mémoire de travail, afin d'obtenir un comportement fiable de la part d'un agent IA opérant sur de nombreuses étapes. Le terme a gagné en popularité en 2025 en tant que cadre successeur de la conception d'invites, reflétant un changement d'accent, passant de la rédaction d'une seule instruction astucieuse à la gestion de l'état complet et dynamiquement assemblé alimentant la fenêtre de contexte limitée d'un modèle.
Les partisans de ce terme, notamment le chercheur en IA Andrej Karpathy, ont soutenu qu'à mesure que les applications passaient de conversations à tour unique à des agents multi-étapes, la source dominante d'échec se déplaçait d'une mauvaise formulation d'invite à une mauvaise gestion du contexte : informations non pertinentes ou manquantes, sorties d'outils obsolètes et fenêtres de contexte encombrées de contenu de faible valeur.
Techniques
Les techniques courantes d'ingénierie de contexte incluent la sélection et la compression du contenu récupéré, généralement via la génération augmentée par récupération, afin que seul le matériel le plus pertinent occupe l'espace de contexte limité. Elles incluent également la structuration des définitions d'outils, des sorties et des messages d'erreur afin qu'un agent puisse agir sans ambiguïté, un domaine où le protocole de contexte de modèle ouvert a émergé comme infrastructure partagée pour fournir des outils et des données de manière cohérente à travers les modèles. La gestion de la mémoire entre les tours ou les sessions, en décidant quoi résumer, éliminer ou conserver, est un autre élément central, car même les modèles avec de très grandes fenêtres de contexte montrent une attention dégradée aux informations placées au milieu d'un long contexte. L'ordre et le formatage délibérés des informations comptent également, car il a été démontré que le comportement des modèles est sensible à l'endroit où les faits clés se situent dans une invite, un effet parfois décrit de manière informelle comme un contenu « perdu au milieu ».
Relation avec la conception d'invites
L'ingénierie de contexte ne remplace pas la conception d'invites mais en élargit plutôt la portée : rédiger une bonne instruction reste nécessaire, mais est traité comme un composant d'un système plus vaste qui régit également les données, les outils et l'historique sur lesquels l'instruction opère. La distinction reflète un changement plus large dans le domaine, passant de complétions à un seul passage à des systèmes agentiques qui effectuent de nombreux appels de modèle en séquence, où l'effet cumulatif de la gestion du contexte se compose à travers les étapes d'une manière qu'une seule invite bien rédigée ne peut pas corriger. D'ici 2026, le terme était devenu courant dans les offres d'emploi en ingénierie et la documentation interne des outils chez les entreprises d'IA, bien que ses frontières avec des pratiques connexes telles que la conception de systèmes de récupération et l'orchestration d'agents restaient vaguement définies.