上下文工程是一种实践,指在推理时精心构建语言模型所看到的一切,包括系统指令、检索文档、工具输出、对话历史和工作记忆,以便从多步骤运行的AI代理中获得可靠行为。该术语在2025年逐渐流行,作为提示工程的后续框架,反映了重点从设计单一巧妙指令转向管理输入模型有限上下文窗口的完整动态组装状态。
该术语的支持者,包括AI研究员安德烈·卡帕西,认为随着应用从单轮对话转向多步骤代理,失败的主要来源已从提示措辞不佳转向上下文管理不善:无关或缺失的信息、过时的工具输出,以及塞满低价值内容的上下文窗口。
技术
常见的上下文工程技术包括选择和压缩检索内容,通常通过检索增强生成实现,以便只有最相关的材料占据稀缺的上下文空间。这些技术还包括构建工具定义、输出和错误消息,使代理能够无歧义地对其操作,这一领域催生了开放的模型上下文协议,作为跨模型一致提供工具和数据的共享基础设施。管理跨轮次或会话的记忆,决定总结、丢弃或持久化什么,是另一个核心部分,因为即使具有非常大上下文窗口的模型,对长上下文中部信息的注意力也会下降。有意识地排序和格式化信息也很重要,因为模型行为已被证明对关键事实在提示中的位置敏感,这种效应有时被非正式地描述为内容“迷失在中间”。
与提示工程的关系
上下文工程与其说是取代提示工程,不如说是扩展了其范围:编写好的指令仍然必要,但被视为更大系统的一个组成部分,该系统还管理指令所操作的数据、工具和历史记录。这种区别反映了该领域从单次生成向代理系统的更广泛转变,后者按顺序进行多次模型调用,其中上下文管理的累积效应在步骤间复合,这是单一精心编写的提示无法修复的。到2026年,该术语在AI公司的工程职位发布和内部工具文档中已变得普遍,尽管其与检索系统设计和代理编排等相关实践的界限仍不明确。