En 2025, Andrej Karpathy a donné une conférence d'une heure à l'Université de Stanford sur le thème de l'ingénierie de l'IA. La conférence, qui s'appuyait sur sa vaste expérience en apprentissage profond et en intelligence artificielle, a fourni un aperçu technique des grands modèles de langage (LLM), des stratégies de sollicitation et du paradigme émergent des agents IA. Un thème central était l'importance des approches basées sur les graphes pour structurer et raisonner sur des systèmes d'IA complexes, une perspective qui a influencé les discussions ultérieures dans le domaine.
Karpathy, chercheur slovaquo-canadien, est connu pour ses contributions à la vision par ordinateur et au traitement du langage naturel. Il a cofondé OpenAI, a été directeur de l'IA chez Tesla, puis a fondé Eureka Labs, une plateforme d'éducation à l'IA. Sa conférence à Stanford reflétait son orientation pédagogique, visant à rendre des concepts avancés accessibles à un large public d'étudiants et de praticiens.
Contexte et contexte
La conférence de Karpathy est arrivée à une époque de progrès rapides dans l'IA générative, suite à l'adoption généralisée des modèles basés sur les transformeurs. Ses travaux antérieurs comprenaient l'enseignement du cours CS 231n de Stanford, devenu l'un des plus grands cours de l'université, et la création de contenus éducatifs populaires sur les réseaux de neurones. La conférence de 2025 a poursuivi cette tradition, offrant une introduction structurée à l'ingénierie pratique des systèmes d'IA.
La conférence s'est également déroulée dans le contexte du plaidoyer public de Karpathy pour une éducation accessible à l'IA. En 2024, il a lancé Eureka Labs dans le but de créer une école native de l'IA, et ses séries de conférences, y compris les tutoriels « Zero to Hero », ont été largement utilisées par les apprenants. La conférence de Stanford a servi de version condensée de ces efforts, ciblant un public académique.
Sujets principaux : LLM, sollicitations et agents
La conférence a couvert trois piliers interconnectés de l'ingénierie moderne de l'IA. Premièrement, Karpathy a expliqué l'architecture et l'entraînement des grands modèles de langage, en soulignant le rôle de l'architecture Transformer (architecture) et des techniques comme Multi-Head Attention. Il a discuté de la manière dont ces modèles sont entraînés sur de vastes corpus de texte, en utilisant des méthodes telles que Supervised learning et le RLHF pour aligner les sorties sur les attentes humaines.
Deuxièmement, il a abordé la sollicitation, la pratique de concevoir des entrées pour obtenir des réponses souhaitées des LLM. Karpathy a souligné l'importance d'instructions claires, de contexte et de raffinement itératif, notant qu'une sollicitation efficace nécessite souvent de comprendre les paramètres de Tokenization et de température du modèle. Il a également abordé des techniques avancées comme la sollicitation Chain-of-thought, qui encourage les modèles à raisonner étape par étape.
Troisièmement, la conférence a introduit les agents IA - des systèmes qui utilisent des LLM pour effectuer des tâches de manière autonome. Karpathy a décrit comment les agents peuvent être construits en combinant des LLM avec des outils, de la mémoire et des mécanismes de planification. Il a souligné que les agents nécessitent souvent une orchestration minutieuse de plusieurs composants, et il a proposé des modèles basés sur les graphes comme moyen de représenter et de gérer ces interactions.
Approches basées sur les graphes
Une contribution distinctive de la conférence a été le plaidoyer de Karpathy pour les approches basées sur les graphes dans l'ingénierie de l'IA. Il a soutenu que de nombreux systèmes d'IA, des réseaux de neurones aux pipelines d'agents, peuvent être naturellement représentés comme des graphes, où les nœuds correspondent à des composants et les arêtes à des flux de données ou des dépendances. Cette perspective, a-t-il suggéré, facilite le débogage, l'optimisation et l'évolutivité.
Par exemple, Karpathy a discuté de la manière dont les graphes de calcul sont utilisés dans les cadres d'apprentissage profond pour permettre la différenciation automatique et l'entraînement efficace. Il a étendu cette idée à des systèmes de niveau supérieur, proposant que les flux de travail des agents puissent être modélisés comme des graphes acycliques dirigés, chaque nœud représentant une étape telle que Information retrieval ou Tool use (function calling). Cette approche, a-t-il noté, s'aligne sur les pratiques en génie logiciel, où la modularité et des interfaces claires sont essentielles.
Karpathy a également fait référence à sa propre expérience chez OpenAI et Tesla, où la pensée basée sur les graphes a aidé à gérer des déploiements d'IA complexes et réels. Il a encouragé le public à adopter de tels modèles mentaux lors de la conception de leurs propres systèmes.
Réception et impact
La conférence a été bien accueillie par la communauté de Stanford et la communauté plus large de la recherche en IA. Les participants ont loué sa clarté et sa profondeur, notant que la capacité de Karpathy à distiller des sujets complexes en explications intuitives est une marque de son style d'enseignement. La conférence a été enregistrée et partagée en ligne par la suite, où elle a accumulé un nombre de vues significatif, étendant encore sa portée.
Après la conférence, plusieurs discussions ont émergé dans les cercles académiques et industriels sur l'utilité des approches basées sur les graphes pour la conception d'agents IA. Certains chercheurs ont commencé à explorer des cadres qui modélisent explicitement les interactions des agents comme des graphes, en s'appuyant sur les idées présentées par Karpathy. La conférence a également renforcé la réputation de Karpathy en tant qu'éducateur de premier plan en IA, complétant son travail en cours avec Eureka Labs.
Héritage et influence continue
La conférence de Stanford de 2025 de Karpathy fait partie d'une trajectoire plus large de contributions à l'éducation et à la recherche en IA. Ses travaux antérieurs sur les réseaux de neurones convolutifs et les réseaux de neurones récurrents ont aidé à façonner l'apprentissage profond moderne. Ses entreprises ultérieures, y compris son retour chez OpenAI et son passage ultérieur chez Anthropic en 2026, l'ont maintenu à l'avant-garde du développement de l'IA.
L'accent mis par la conférence sur les approches basées sur les graphes a été cité dans des articles et des tutoriels ultérieurs, en particulier dans le contexte de l'orchestration des agents. Alors que les systèmes d'IA deviennent plus complexes, le besoin de représentations structurées comme les graphes est susceptible de croître, rendant les idées de Karpathy de plus en plus pertinentes. La conférence reste une ressource précieuse pour les étudiants et les praticiens cherchant à comprendre les aspects pratiques de l'ingénierie de l'IA.