2025年,安德烈·卡帕西在斯坦福大学就人工智能工程主题发表了一场时长一小时的演讲。这场演讲基于他在深度学习和人工智能领域的丰富经验,对大型语言模型(LLM)、提示策略以及人工智能代理的新兴范式进行了技术概述。一个核心主题是图方法在构建和推理复杂人工智能系统中的重要性,这一视角影响了该领域后续的讨论。
卡帕西是一位斯洛伐克裔加拿大研究员,以在计算机视觉和自然语言处理方面的贡献而闻名。他共同创立了OpenAI,担任过特斯拉的人工智能总监,后来创立了人工智能教育平台Eureka Labs。他的斯坦福演讲体现了其教学重点,旨在让广大学生和从业者能够理解高级概念。
背景与语境
卡帕西的演讲正值生成式人工智能快速发展时期,紧随基于Transformer的模型被广泛采用之后。他之前的工作包括教授斯坦福大学的CS 231n课程,该课程成为该校规模最大的课程之一,并创作了关于神经网络的广受欢迎的教育内容。2025年的演讲延续了这一传统,对人工智能系统的实际工程进行了结构化介绍。
这次演讲也发生在卡帕西倡导普及人工智能教育的公开背景下。2024年,他创办了Eureka Labs,目标是创建一所人工智能原生的学校,他的系列讲座,包括“从零到英雄”教程,已被学习者广泛使用。斯坦福演讲是这些努力的浓缩版,面向学术受众。
核心主题:LLM、提示与代理
演讲涵盖了现代人工智能工程的三个相互关联的支柱。首先,卡帕西解释了大型语言模型的架构和训练,强调了Transformer (architecture)架构和Multi-Head Attention等技术的作用。他讨论了这些模型如何通过Supervised learning和RLHF等方法在大量文本语料库上进行训练,以使输出与人类期望对齐。
其次,他讨论了提示,即设计输入以从LLM中引出所需响应的实践。卡帕西强调了清晰指令、上下文和迭代改进的重要性,指出有效的提示通常需要理解模型的Tokenization和temperature参数。他还涉及了高级技术,如Chain-of-thought提示,这鼓励模型逐步推理。
第三,演讲介绍了人工智能代理,,使用LLM自主执行任务的系统。卡帕西描述了如何通过将LLM与工具、记忆和规划机制相结合来构建代理。他强调,代理通常需要仔细协调多个组件,并提出了基于图的模型作为表示和管理这些交互的方式。
图方法
演讲的一个独特贡献是卡帕西倡导在人工智能工程中采用图方法。他认为,许多人工智能系统,从神经网络到代理流水线,都可以自然地表示为图,其中节点对应组件,边对应数据流或依赖关系。他指出,这种视角有助于调试、优化和扩展。
例如,卡帕西讨论了计算图如何用于深度学习框架中,以实现自动微分和高效训练。他将这一思想扩展到更高级别的系统,提出代理工作流可以建模为有向无环图,每个节点代表一个步骤,如Information retrieval或Tool use (function calling)。他指出,这种方法与软件工程中的实践相一致,其中模块化和清晰的接口是关键。
卡帕西还提到了他在OpenAI和Tesla的亲身经历,在这些地方,图思维帮助管理了复杂的现实世界人工智能部署。他鼓励听众在设计自己的系统时采用这种心智模型。
反响与影响
这场演讲受到了斯坦福社区和更广泛的人工智能研究社区的好评。与会者称赞其清晰度和深度,指出卡帕西将复杂主题提炼为直观解释的能力是他教学风格的标志。演讲被录制并随后在网上分享,获得了大量观看,进一步扩大了其影响力。
演讲之后,学术界和工业界围绕图方法在人工智能代理设计中的实用性展开了多项讨论。一些研究人员开始探索将代理交互显式建模为图的框架,基于卡帕西提出的思想。演讲也巩固了卡帕西作为人工智能领域领先教育者的声誉,补充了他与Eureka Labs的持续工作。
遗产与持续影响
卡帕西2025年的斯坦福演讲是他对人工智能教育和研究更广泛贡献轨迹的一部分。他早期在卷积神经网络和循环神经网络方面的工作帮助塑造了现代深度学习。他随后的冒险,包括重返OpenAI以及2026年转投Anthropic,使他始终处于人工智能发展的前沿。
演讲中对图方法的强调已在后续论文和教程中被引用,特别是在代理编排的背景下。随着人工智能系统变得越来越复杂,对像图这样的结构化表示的需求可能会增长,这使得卡帕西的见解日益相关。这场演讲仍然是学生和从业者理解人工智能工程实际方面的宝贵资源。