En 2025, Andrej Karpathy impartió una conferencia de una hora en la Universidad de Stanford sobre el tema de la ingeniería de IA. La charla, que se basó en su amplia experiencia en aprendizaje profundo e inteligencia artificial, ofreció una visión técnica de los grandes modelos de lenguaje (LLM), las estrategias de prompting y el paradigma emergente de los agentes de IA. Un tema central fue la importancia de los enfoques basados en grafos para estructurar y razonar sobre sistemas de IA complejos, una perspectiva que ha influido en discusiones posteriores en el campo.
Karpathy, un investigador eslovaco-canadiense, es conocido por sus contribuciones a la visión por computadora y el procesamiento del lenguaje natural. Cofundó OpenAI, se desempeñó como director de IA en Tesla y posteriormente fundó Eureka Labs, una plataforma educativa de IA. Su conferencia en Stanford reflejó su enfoque pedagógico, con el objetivo de hacer accesibles conceptos avanzados a una amplia audiencia de estudiantes y profesionales.
Antecedentes y contexto
La conferencia de Karpathy llegó en un momento de rápido avance en la IA generativa, tras la adopción generalizada de modelos basados en transformadores. Su trabajo anterior incluyó la enseñanza del curso CS 231n de Stanford, que se convirtió en una de las clases más grandes de la universidad, y la creación de contenido educativo popular sobre redes neuronales. La conferencia de 2025 continuó esta tradición, ofreciendo una introducción estructurada a la ingeniería práctica de sistemas de IA.
La charla también tuvo lugar en el contexto de la defensa pública de Karpathy por una educación de IA accesible. En 2024, lanzó Eureka Labs con el objetivo de crear una escuela nativa de IA, y su serie de conferencias, incluidos los tutoriales "Zero to Hero", han sido ampliamente utilizados por los estudiantes. La conferencia de Stanford sirvió como una versión condensada de estos esfuerzos, dirigida a un público académico.
Temas centrales: LLM, prompts y agentes
La conferencia cubrió tres pilares interconectados de la ingeniería moderna de IA. Primero, Karpathy explicó la arquitectura y el entrenamiento de los grandes modelos de lenguaje, enfatizando el papel de la arquitectura Transformer (architecture) y técnicas como Multi-Head Attention. Discutió cómo estos modelos se entrenan en vastos corpus de texto, utilizando métodos como Supervised learning y RLHF para alinear los resultados con las expectativas humanas.
En segundo lugar, abordó el prompting, la práctica de diseñar entradas para obtener respuestas deseadas de los LLM. Karpathy destacó la importancia de instrucciones claras, contexto y refinamiento iterativo, señalando que un prompting efectivo a menudo requiere comprender la Tokenization del modelo y los parámetros de temperatura. También mencionó técnicas avanzadas como el prompting de Chain-of-thought, que anima a los modelos a razonar paso a paso.
En tercer lugar, la conferencia introdujo los agentes de IA - sistemas que utilizan LLM para realizar tareas de forma autónoma. Karpathy describió cómo se pueden construir agentes combinando LLM con herramientas, memoria y mecanismos de planificación. Enfatizó que los agentes a menudo requieren una orquestación cuidadosa de múltiples componentes, y propuso modelos basados en grafos como una forma de representar y gestionar estas interacciones.
Enfoques basados en grafos
Una contribución distintiva de la conferencia fue la defensa de Karpathy de los enfoques basados en grafos en la ingeniería de IA. Argumentó que muchos sistemas de IA, desde redes neuronales hasta pipelines de agentes, pueden representarse naturalmente como grafos, donde los nodos corresponden a componentes y las aristas a flujos de datos o dependencias. Esta perspectiva, sugirió, facilita la depuración, la optimización y la escalabilidad.
Por ejemplo, Karpathy discutió cómo los grafos de cómputo se utilizan en marcos de aprendizaje profundo para permitir la diferenciación automática y el entrenamiento eficiente. Extendió esta idea a sistemas de nivel superior, proponiendo que los flujos de trabajo de agentes podrían modelarse como grafos acíclicos dirigidos, con cada nodo representando un paso como Information retrieval o Tool use (function calling). Este enfoque, señaló, se alinea con las prácticas en ingeniería de software, donde la modularidad y las interfaces claras son clave.
Karpathy también hizo referencia a su propia experiencia en OpenAI y Tesla, donde el pensamiento basado en grafos ayudó a gestionar despliegues de IA complejos en el mundo real. Animó a la audiencia a adoptar tales modelos mentales al diseñar sus propios sistemas.
Recepción e impacto
La conferencia fue bien recibida por la comunidad de Stanford y la comunidad más amplia de investigación en IA. Los asistentes elogiaron su claridad y profundidad, señalando que la capacidad de Karpathy para destilar temas complejos en explicaciones intuitivas es un sello distintivo de su estilo de enseñanza. La charla fue grabada y posteriormente compartida en línea, donde acumuló un número significativo de visualizaciones, ampliando aún más su alcance.
Tras la conferencia, surgieron varias discusiones en círculos académicos e industriales sobre la utilidad de los enfoques basados en grafos para el diseño de agentes de IA. Algunos investigadores comenzaron a explorar marcos que modelan explícitamente las interacciones de agentes como grafos, basándose en las ideas presentadas por Karpathy. La conferencia también reforzó la reputación de Karpathy como un educador líder en IA, complementando su trabajo continuo con Eureka Labs.
Legado e influencia continua
La conferencia de Karpathy en Stanford en 2025 es parte de una trayectoria más amplia de contribuciones a la educación e investigación en IA. Su trabajo anterior sobre redes neuronales convolucionales y redes neuronales recurrentes ayudó a dar forma al aprendizaje profundo moderno. Sus empresas posteriores, incluido su regreso a OpenAI y su posterior traslado a Anthropic en 2026, lo han mantenido a la vanguardia del desarrollo de la IA.
El énfasis de la conferencia en los enfoques basados en grafos ha sido citado en artículos y tutoriales posteriores, particularmente en el contexto de la orquestación de agentes. A medida que los sistemas de IA se vuelven más complejos, es probable que la necesidad de representaciones estructuradas como los grafos crezca, haciendo que las ideas de Karpathy sean cada vez más relevantes. La charla sigue siendo un recurso valioso para estudiantes y profesionales que buscan comprender los aspectos prácticos de la ingeniería de IA.