Agent Lightning：用于智能体的解耦强化学习训练

Agent Lightning是一个开源框架，它将你的代理运行时与训练循环解耦。核心思想：你的代理和训练器永远不会相互接触。代理按照它已有的方式运行（LangChain、AutoGen、CrewAI、OpenAI SDK或纯Python），并在运行过程中发出跨度。训练器位于共享存储的另一端，读取这些跨度。双方都不会导入对方。这很重要，因为将现有代理转变为可进行强化学习训练的东西，通常意味着围绕训练器的数据模型重写它，或者从一开始就在训练器的框架内构建代理。在这里，运行时保持不变，训练循环从外部附加。 机制： → 每个提示、工具调用和奖励都被捕获为结构化跨度，要么通过你插入的emit_xxx辅助函数，要么通过自动拾取它们的追踪器。 → 跨度流入一个集中的LightningStore，其中包含任务、资源和轨迹。代理运行器和算法都在这里读写，这是它们之间唯一的契约。 → 算法槽是可插拔的。强化学习、自动提示优化和监督微调都适合相同的接口，它也可以是你自己编写的算法。 → 在多代理系统中，你可以将训练器指向一个特定的代理，而让其余代理保持不变。其他代理仍然运行并发出跨度，但只有选定的代理会获得更新的权重或提示。 最后一点是我实际会采用的。大多数代理强化学习工作假设你有一个模型要训练。真实系统有一个规划器、几个专家、一个评论家，而你只想移动实际瓶颈的那个权重。能够在不拆开整个图的情况下隔离它，是研究演示和能在生产环境中运行的东西之间的区别。 几乎每个在2025年发布的代理框架都是运行时优先的。这个框架是训练优先的，并将你构建代理所用的框架视为实现细节，而不是要求。