Em 2025, Andrej Karpathy ministrou uma palestra de uma hora na Universidade de Stanford sobre o tema de engenharia de IA. A palestra, que se baseou em sua vasta experiência em aprendizado profundo e inteligência artificial, forneceu uma visão geral técnica dos grandes modelos de linguagem (LLMs), estratégias de prompting e o paradigma emergente de agentes de IA. Um tema central foi a importância de abordagens baseadas em grafos para estruturar e raciocinar sobre sistemas complexos de IA, uma perspectiva que influenciou discussões subsequentes na área.
Karpathy, um pesquisador eslovaco-canadense, é conhecido por suas contribuições à visão computacional e ao processamento de linguagem natural. Ele cofundou a OpenAI, atuou como diretor de IA na Tesla e, posteriormente, fundou a Eureka Labs, uma plataforma de educação em IA. Sua palestra em Stanford refletiu seu foco pedagógico, visando tornar conceitos avançados acessíveis a um público amplo de estudantes e profissionais.
Contexto e Antecedentes
A palestra de Karpathy ocorreu em um momento de rápido avanço na IA generativa, após a adoção generalizada de modelos baseados em transformadores. Seu trabalho anterior incluiu o ensino do curso CS 231n de Stanford, que se tornou uma das maiores turmas da universidade, e a criação de conteúdo educacional popular sobre redes neurais. A palestra de 2025 deu continuidade a essa tradição, oferecendo uma introdução estruturada à engenharia prática de sistemas de IA.
A palestra também ocorreu em meio à defesa pública de Karpathy pela educação acessível em IA. Em 2024, ele lançou a Eureka Labs com o objetivo de criar uma escola nativa de IA, e sua série de palestras, incluindo os tutoriais "Zero to Hero", tem sido amplamente utilizada por aprendizes. A palestra em Stanford serviu como uma versão condensada desses esforços, direcionada a um público acadêmico.
Tópicos Centrais: LLMs, Prompts e Agentes
A palestra abordou três pilares interconectados da engenharia moderna de IA. Primeiro, Karpathy explicou a arquitetura e o treinamento de grandes modelos de linguagem, enfatizando o papel da arquitetura transformador e técnicas como atenção de múltiplas cabeças. Ele discutiu como esses modelos são treinados em vastos corpora de texto, usando métodos como aprendizado supervisionado e RLHF para alinhar as saídas às expectativas humanas.
Segundo, ele abordou o prompting, a prática de projetar entradas para elicitar respostas desejadas dos LLMs. Karpathy destacou a importância de instruções claras, contexto e refinamento iterativo, observando que um prompting eficaz muitas vezes exige entender os parâmetros de tokenização e temperatura do modelo. Ele também mencionou técnicas avançadas como o prompting cadeia de pensamento, que incentiva os modelos a raciocinar passo a passo.
Terceiro, a palestra introduziu os agentes de IA - sistemas que usam LLMs para executar tarefas de forma autônoma. Karpathy descreveu como os agentes podem ser construídos combinando LLMs com ferramentas, memória e mecanismos de planejamento. Ele enfatizou que os agentes muitas vezes exigem uma orquestração cuidadosa de múltiplos componentes, e propôs modelos baseados em grafos como uma forma de representar e gerenciar essas interações.
Abordagens Baseadas em Grafos
Uma contribuição distintiva da palestra foi a defesa de Karpathy por abordagens baseadas em grafos na engenharia de IA. Ele argumentou que muitos sistemas de IA, desde redes neurais até pipelines de agentes, podem ser naturalmente representados como grafos, onde nós correspondem a componentes e arestas a fluxos de dados ou dependências. Essa perspectiva, sugeriu ele, facilita a depuração, a otimização e a escalabilidade.
Por exemplo, Karpathy discutiu como grafos de computação são usados em frameworks de aprendizado profundo para permitir diferenciação automática e treinamento eficiente. Ele estendeu essa ideia a sistemas de nível superior, propondo que fluxos de trabalho de agentes poderiam ser modelados como grafos acíclicos direcionados, com cada nó representando uma etapa como recuperação de informações ou uso de ferramentas. Essa abordagem, observou ele, está alinhada com práticas em engenharia de software, onde modularidade e interfaces claras são fundamentais.
Karpathy também referenciou sua própria experiência na OpenAI e na Tesla, onde o pensamento baseado em grafos ajudou a gerenciar implantações complexas de IA no mundo real. Ele incentivou o público a adotar tais modelos mentais ao projetar seus próprios sistemas.
Recepção e Impacto
A palestra foi bem recebida pela comunidade de Stanford e pela comunidade mais ampla de pesquisa em IA. Os participantes elogiaram sua clareza e profundidade, observando que a capacidade de Karpathy de destilar tópicos complexos em explicações intuitivas é uma marca de seu estilo de ensino. A palestra foi gravada e posteriormente compartilhada online, onde acumulou visualizações significativas, ampliando ainda mais seu alcance.
Após a palestra, várias discussões surgiram em círculos acadêmicos e industriais sobre a utilidade de abordagens baseadas em grafos para o design de agentes de IA. Alguns pesquisadores começaram a explorar frameworks que modelam explicitamente interações de agentes como grafos, com base nas ideias apresentadas por Karpathy. A palestra também reforçou a reputação de Karpathy como um educador líder em IA, complementando seu trabalho contínuo com a Eureka Labs.
Legado e Influência Contínua
A palestra de Karpathy em Stanford em 2025 faz parte de uma trajetória mais ampla de contribuições para a educação e pesquisa em IA. Seu trabalho anterior em redes neurais convolucionais e redes neurais recorrentes ajudou a moldar o aprendizado profundo moderno. Seus empreendimentos subsequentes, incluindo seu retorno à OpenAI e sua posterior mudança para a Anthropic em 2026, o mantiveram na vanguarda do desenvolvimento de IA.
A ênfase da palestra em abordagens baseadas em grafos foi citada em artigos e tutoriais subsequentes, particularmente no contexto de orquestração de agentes. À medida que os sistemas de IA se tornam mais complexos, a necessidade de representações estruturadas como grafos provavelmente crescerá, tornando as percepções de Karpathy cada vez mais relevantes. A palestra continua sendo um recurso valioso para estudantes e profissionais que buscam entender os aspectos práticos da engenharia de IA.