AI评估详解：从基础到自我改进的智能体

简单模式：什么是评估 - 评估是测试AI代理所做的事情是否正确 - “正确”的关键在于将你或你的组织认为正确的事情编码成软件 - 示例：一个GTM代理记录客户会议，撰写跟进草稿，并在发送前停止 - 在这种情况下，评估可以检查客户会议是否被记录，跟进草稿是否已撰写，代理是否在发送前暂停 - 评估实际上并不新鲜，它们只是单元测试的进化版本，而单元测试在软件中一直存在 - 设置评估的配方其实很简单：代理 + 系统 + 任务 + 验证器 - 在GTM代理示例中，你有你的代理，对Salesforce的读写权限，一组任务（如更新线索状态、记录通话、撰写跟进），以及一个验证器（其工作是判断任务是否做对或做错的工具） - 验证器可以是一个简单的Python函数或内容/文本检查 - 对于不可验证的任务，评分标准是编码“好”的标准的好方法，这样验证器仍然可以工作 - 一旦创建了评分标准，如果代理表现不佳，根本原因可能是：检查清单不完整，模型不够聪明，上下文不好或不完整，或提示词不够好 困难模式：什么是代理环境 - 环境是代理工作的地方，我们在这里衡量其表现 - 随着我们从ChatGPT时代的文本进文本出转向代理时代的提示进、现实世界工作出，环境变得必要 - 示例：对于Claude Code/Codex，当它们在你的电脑上工作时，环境是文件、浏览器、电子邮件、应用程序、权限 - 今天构建代理环境时，就是创建现有工具的模拟，这些模拟对代理来说看起来真实但并非真实（不会覆盖生产环境） - 基本上，你希望能够在不动公司实时系统或数据的情况下测试代理的表现 - 构建代理和评估时的需求：（1）按团队管理任务（GTM不等于SWE），（2）团队特定环境，（3）在不自己构建所有基础设施的情况下大规模运行 - 设置代理环境的流行工具是一个名为Harbor的开源框架，它提供了运行评估所需的所有代理环境抽象，这样你不需要管理所有东西，但可以在需要时进入底层 - Harbor原语涵盖：环境构建、验证器构建、指令构建、沙箱基础设施 - 初学者路径：获取一个现成的Harbor格式评估，让Claude Code/Codex解释，然后为你的代理调整 - LangSmith Engine：大规模制作评估；为那些能判断好或坏输出并希望在不生活在代码中提供反馈的人提供UI - 通过在其中运行多个真实代理或模型（例如前沿模型 + GLM + 小型Qwen）来验证环境，并寻找异常模式 - 环境工程像代理工程一样是迭代的；人类构建并审查输出 - 要大规模进行评估，你需要一个评估套件。评估套件是公司运行的一组代理任务集合。每个任务由输入提示词、验证器和环境组成 - 每当新模型发布时，你会运行评估套件（或套件中的部分任务），并权衡成本、速度和智能之间的取舍 神级模式：什么是自我改进代理 - 代理在现实世界中持续循环 → 生产数据 → 将生产转化为评估（并利用评估改进） → 持续改进代理 - 激进观点：如果你的团队非常擅长将生产数据转化为评估，你可以持续改进代理 - 评估的存在是为了发现失败；然后改变代理，使失败不再发生 - 两个改进方向：框架工程和微调小模型 - 框架工程：（便宜的起点）：调整提示词、工具定义或描述、模型选择、模型组合（例如Sol+Opus、GLM+Opus） - 微调（针对你的狭窄生产任务）：开放模型 + 微调基础设施存在；可以在那个任务上匹配Opus，成本约便宜10倍；GTM代理不需要前沿数学能力 - 神级模式 = 收集真实生产数据 → 转化为评估或环境 → 选择如何改进（先框架；之后为特定任务拥有自己的微调智能） - 瓶颈通常是人类更新验证器或评分标准 - 关于自主性的两个问题：如何加速循环；能否在没有人类参与的情况下运行 - 目标：最小化循环中的人类接触点 - 代理轨迹是组织使用代理的第一个实际步骤 - 轨迹 = 每个动作的日志：工具调用 - 人类无法很好地推理代理将会做什么；查看实时行为（即轨迹）使对错变得明显 - 看到坏结果 → 阅读轨迹（记录） → 找到错误步骤 → 改变代理使其不再重复 - 随着每个更智能模型的发布，人类接触点会缩小 - 今天的人类角色第一（前期）：向挖掘或改进代理解释好与坏的标准（要查找的行为提示词）；主要是前期工作，随时间进行一些编辑 - 然后代理可以找到失败的工具调用、指令遵循失败等，并提出改进建议（新提示词、新或不同的工具等） - 有了好的评估套件或好的生产不良行为测量，一个运行整夜的代理可以非常擅长提出修复建议 - 人类角色第二：在将生产转化为评估或环境时，审查公司关心什么 - 最高杠杆的组织行为：人类写下好是什么样子