Le scaffolding d'agent est la structure de prompt et de flux de travail construite autour d'un modèle pour le faire agir comme un agent fiable. En Artificial intelligence, un agent est un système qui perçoit son environnement, prend des décisions et exécute des actions pour atteindre des objectifs. Un Large language model brut génère du texte ; le scaffolding transforme cette capacité de génération de texte en une boucle d'observation, de raisonnement et d'action. Cette structure comprend généralement un prompt système, un ensemble d'outils disponibles, un mécanisme de mémoire et un flux de contrôle qui détermine quand le modèle doit appeler un outil plutôt que de répondre directement.
Le terme a gagné en importance au milieu des années 2020, lorsque les développeurs ont réalisé que simplement demander à un modèle d'« effectuer une tâche » était insuffisant pour des opérations complexes en plusieurs étapes. Le scaffolding fournit les garde-fous, la gestion d'état et la gestion des erreurs nécessaires. C'est la différence entre un chatbot qui répond à des questions et un agent qui réserve un vol, écrit du code ou gère un projet de recherche. Le concept est étroitement lié à Generative AI et Machine learning, mais se concentre sur la couche d'ingénierie autour du modèle plutôt que sur les paramètres internes du modèle.
Contexte historique
L'idée de construire des flux de travail structurés autour de systèmes d'IA précède le Deep learning moderne. Les premiers systèmes experts des années 1970 et 1980 utilisaient un scaffolding basé sur des règles pour encoder les connaissances du domaine. Cependant, l'interprétation moderne du scaffolding a émergé avec l'essor des modèles basés sur Transformer (architecture). En 2017, des chercheurs de Google DeepMind et University of Toronto ont démontré que les mécanismes d'attention pouvaient gérer des dépendances à longue portée, permettant un raisonnement plus complexe. En 2020, OpenAI's GPT-3 a montré que les grands modèles pouvaient suivre des instructions, mais il manquait la capacité d'interagir avec des systèmes externes.
Le tournant est venu avec l'introduction de l'utilisation d'outils. En 2021, OpenAI a publié Codex, qui pouvait exécuter du code dans un bac à sable. C'était une forme précoce de scaffolding : le modèle générait du code, le scaffold l'exécutait, et la sortie était renvoyée au modèle. En 2022, Anthropic a introduit Claude avec une approche d'IA constitutionnelle, et en 2023, OpenAI et Anthropic avaient tous deux publié des fonctionnalités API pour l'appel de fonctions. Ces API permettaient aux développeurs de définir des outils que le modèle pouvait invoquer, formalisant ainsi le modèle de scaffolding.
Composants principaux
Un scaffold d'agent typique se compose de plusieurs parties interconnectées. Le prompt système définit la personnalité, les objectifs et les contraintes de l'agent. C'est la forme la plus directe de scaffolding, contenant souvent des instructions détaillées sur la façon de se comporter, quels outils sont disponibles et comment formater les réponses. La couche d'outils fournit au modèle des capacités externes : recherche web, exécution de code, requêtes de base de données, manipulation de fichiers ou appels API. Chaque outil est décrit au modèle dans un format structuré, généralement avec un nom, une description et un schéma de paramètres.
La mémoire est un autre composant critique. Étant donné que les Large language models ont une fenêtre de contexte fixe, le scaffolding doit gérer les informations retenues. La mémoire à court terme conserve l'historique de conversation récent, tandis que la mémoire à long terme peut utiliser une base de données vectorielle pour stocker des embeddings d'interactions passées. Cela permet à l'agent de se souvenir de faits à travers les sessions. Le flux de contrôle détermine la boucle : le modèle reçoit une entrée, décide s'il doit appeler un outil ou produire une réponse finale, et le scaffold exécute l'outil et renvoie le résultat. Cette boucle continue jusqu'à ce que le modèle signale la fin.
Utilisation d'outils et appel de fonctions
L'utilisation d'outils est l'aspect le plus visible du scaffolding. En 2023, OpenAI a introduit l'appel de fonctions dans son API, permettant aux modèles de produire du JSON structuré spécifiant un appel d'outil. Anthropic a suivi avec une fonctionnalité similaire. Ces API ont facilité la création d'agents capables d'interroger des bases de données, d'envoyer des e-mails ou de contrôler des logiciels. Le scaffold gère l'exécution réelle, valide la sortie de l'outil et la renvoie au modèle.
Par exemple, un agent de support client pourrait avoir des outils pour rechercher des commandes, traiter des remboursements et escalader des problèmes. Le modèle décide quel outil appeler en fonction de la requête de l'utilisateur. Le scaffold garantit que l'appel d'outil est sûr, que la sortie est dans les limites attendues et que le modèle ne boucle pas indéfiniment. Ce modèle est désormais standard dans les frameworks d'agents comme LangChain, AutoGPT et le Semantic Kernel de Microsoft, bien que le concept de scaffolding soit indépendant du framework.
Mémoire et gestion d'état
La mémoire est un différenciateur clé entre les chatbots simples et les agents fiables. Un scaffold peut implémenter divers types de mémoire. La mémoire épisodique stocke les interactions passées, permettant à l'agent d'apprendre des tâches précédentes. La mémoire sémantique contient des faits et des connaissances, souvent dans une base de données vectorielle. La mémoire procédurale encode comment effectuer certaines tâches, éventuellement via des exemples en quelques shots dans le prompt.
La gestion d'état est également cruciale. Un agent effectuant une tâche en plusieurs étapes doit suivre la progression, les résultats intermédiaires et les actions en attente. Le scaffold peut maintenir une machine à états définissant des transitions valides. Par exemple, un agent de recherche pourrait avoir des états comme « recherche », « lecture », « résumé » et « rapport ». Le scaffold garantit que l'agent ne saute pas d'étapes ou ne répète pas d'actions inutilement. Cela est particulièrement important dans les systèmes de production où la fiabilité est primordiale.
Planification et raisonnement
Le scaffolding inclut souvent des mécanismes de planification explicites. Au lieu de laisser le modèle décider des actions de manière purement réactive, le scaffold peut demander au modèle de créer d'abord un plan. C'est parfois appelé « planifier et exécuter ». Le modèle génère une liste d'étapes, et le scaffold les exécute séquentiellement, en cochant chaque étape. Cela réduit le risque que le modèle reste bloqué ou prenne des décisions incohérentes.
Des techniques de raisonnement comme le prompt en chaîne de pensée font également partie du scaffolding. En demandant au modèle de « penser étape par étape », le scaffold encourage un raisonnement plus précis. Certains scaffolds utilisent un modèle de « réflexion », où le modèle examine sa propre sortie et corrige les erreurs. Ces techniques ne sont pas nouvelles ; ce sont des extensions de Curriculum Learning et Loss Functions concepts issus de la recherche en IA antérieure, mais appliquées au niveau de l'inférence.
Fiabilité et sécurité
L'un des objectifs principaux du scaffolding est de rendre les agents fiables. Un modèle brut pourrait halluciner, ignorer les instructions ou produire des sorties dangereuses. Le scaffold ajoute des garde-fous : validation des entrées, filtrage des sorties, limitation de débit et points de contrôle avec intervention humaine. Pour des applications à enjeux élevés comme la santé ou la finance, le scaffold peut exiger une approbation avant d'exécuter certaines actions.
La sécurité est également une préoccupation. Le scaffold peut restreindre les outils disponibles pour le modèle, l'empêchant d'accéder à des données sensibles ou d'effectuer des opérations destructrices. Il peut également surveiller le comportement du modèle pour détecter des signes d'injection de prompt ou d'autres attaques. À mesure que les agents deviennent plus autonomes, le scaffold devient la première ligne de défense contre les conséquences imprévues.
Frameworks et implémentations
Plusieurs frameworks open-source et commerciaux ont émergé pour aider les développeurs à construire des scaffolds. LangChain, publié en octobre 2022 par Harrison Chase, a popularisé le concept de chaînes et d'agents. AutoGPT, lancé en mars 2023, a démontré un agent entièrement autonome capable de décomposer un objectif en sous-tâches. AutoGen de Microsoft, publié en 2023, a introduit des conversations multi-agents où plusieurs modèles collaborent.
En 2024, OpenAI et Anthropic ont tous deux publié des outils de construction d'agents. L'API Assistants d'OpenAI fournissait un scaffold hébergé avec des outils, de la mémoire et de la récupération. Claude Code d'Anthropic, publié en 2025, offrait une interface en ligne de commande pour les agents de codage. Ces produits abstraient une grande partie de la complexité, mais les principes sous-jacents restent les mêmes. Le choix du framework dépend souvent du cas d'utilisation spécifique, des exigences de latence et du besoin de personnalisation.
Défis et limites
Malgré les avancées, le scaffolding fait face à plusieurs défis. Les limites de la fenêtre de contexte restent un goulot d'étranglement ; même avec de grands contextes, des tâches complexes peuvent dépasser la capacité du modèle. La latence est un autre problème : chaque appel d'outil ajoute du temps de round-trip, rendant les agents plus lents que les réponses directes. Le coût augmente avec le nombre de jetons traités, donc des scaffolds verbeux peuvent être coûteux. La propagation d'erreurs est une préoccupation : une seule erreur dans une étape précoce peut se propager, conduisant à des résultats finaux incorrects.
Un autre défi est l'évaluation. Comment mesurer la fiabilité d'un agent ? Les métriques traditionnelles comme la précision sur des benchmarks sont insuffisantes. Les chercheurs ont proposé de nouveaux benchmarks comme AgentBench et SWE-bench, mais ils ne sont pas encore standardisés. Le domaine est encore jeune, et les meilleures pratiques évoluent.
Directions futures
L'avenir du scaffolding d'agent implique probablement des systèmes de mémoire plus sophistiqués, de meilleurs algorithmes de planification et une intégration plus étroite avec le modèle lui-même. Certains chercheurs explorent des scaffolds appris, où le flux de contrôle est optimisé par apprentissage par renforcement plutôt que codé à la main. D'autres étudient des systèmes multi-agents, où plusieurs modèles avec des spécialisations différentes collaborent sous un scaffold central.
À mesure que les modèles deviennent plus capables, le scaffold pourrait devenir plus simple, mais il ne disparaîtra pas. Même un modèle parfait a besoin d'un moyen d'interagir avec le monde. Le scaffold est le pont entre les représentations internes du modèle et la réalité externe. En ce sens, c'est une partie fondamentale de tout agent d'IA, et son importance ne fera que croître à mesure que les agents seront déployés dans davantage de domaines.
Conclusion
Le scaffolding d'agent est la discipline d'ingénierie consistant à construire des agents d'IA fiables. Il englobe la conception de prompts, l'intégration d'outils, la gestion de la mémoire et le flux de contrôle. Bien que les modèles sous-jacents soient puissants, ils ne sont pas autonomes par défaut ; le scaffolding fournit la structure qui transforme un modèle de langage en un agent utile. À mesure que le domaine mûrit, nous pouvons nous attendre à des frameworks plus standardisés, de meilleures méthodes d'évaluation et une compréhension plus approfondie de la conception de scaffolds à la fois efficaces et sûrs.