人机协同（HITL）是一种设计范式，在人工智能中，人类操作员参与机器学习模型的训练、评估或运行。当自动化系统无法完全解决歧义、错误代价高昂或输出必须符合人类价值观和法规时，就会采用这种方法。
HITL工作流通常涉及一个反馈循环：模型生成预测，人类审查或纠正该预测，然后将纠正纳入模型的下一次训练迭代。此循环可应用于不同阶段，从数据标注到最终决策，并且是许多现代大型语言模型流程的核心组成部分。
方法与工作流
一种常见方法是主动学习，即模型识别出最能提升其性能的示例，并请求人类标注员为这些示例提供标签。与随机采样相比，这减少了所需标签的数量。交互式机器学习通过允许用户实时纠正输出来扩展这一概念；这些纠正成为额外的训练数据。对于生成模型，OpenAI和Anthropic已使用基于人类反馈的强化学习（RLHF）来使模型行为与用户意图对齐。在RLHF中，人类评分者比较模型响应并对其进行排名；这些排名用于训练奖励模型，然后通过强化学习指导微调。一种相关技术基于AI的反馈强化学习使用AI系统生成反馈，减少但并未消除对人类监督的需求。
HITL还与深度学习和神经网络训练相交织。例如，Transformer模型通常在初始无监督预训练阶段后，根据人类偏好进行微调。一些系统将HITL与课程学习相结合，其中任务按从易到难的顺序排列，人类反馈集中在最难的示例上。
应用
在自动驾驶领域，Waymo和特斯拉自动驾驶使用远程操作员和安全驾驶员来处理其感知系统无法自信解决的边缘情况。这些人工干预会被记录并用于改进后续模型版本。在医疗保健领域，直觉外科的达芬奇系统使外科医生能够控制机器人器械，而AI辅助诊断工具通常需要临床医生确认或覆盖自动化发现。内容审核平台使用HITL来审查被标记的帖子，尤其是针对仇恨言论或错误信息等细微问题。
云服务提供商提供托管HITL服务：亚马逊网络服务的SageMaker Ground Truth和谷歌云的AI平台数据标注允许客户使用人类标注员构建自定义数据集。微软Azure提供类似的标注服务。这些服务与众包平台集成，可用于训练生成式AI应用的模型。
历史与研究
人类监督自动化系统的概念可追溯至20世纪中叶的控制论和人为因素工程。在1960年代，施乐帕克研究中心的研究人员探索了交互式计算，后来麻省理工学院计算机科学与人工智能实验室的工作研究了人类如何通过示例和纠正来指导机器学习。2000年代带来了亚马逊Mechanical Turk等众包平台，使大规模人类标注在经济上变得可行。关于交互式机器学习的学术研究在2000年代扩展，多个机构做出了贡献。
挑战与局限
HITL引入了显著的成本和延迟。人类标注成本高昂，审查所需时间可能减慢实时应用。标注者之间的分歧很常见，人类判断中的偏见可能被编码到模型中。亚历山大·马德里及其同事的研究表明，人类反馈可能不一致，尤其是在任务主观或评分者受到对抗性输入影响时。为缓解这些问题，从业者使用数据增强来生成合成训练示例，并使用模型剪枝来简化模型并减少需要人类审查的决策数量。在高风险领域，监管框架日益要求自动化决策中有人类参与，但实际实施仍是一个开放挑战。
未来方向
随着AI系统能力增强，人类的角色正从逐示例标注转向高层对齐和审计。谷歌DeepMind研究了可扩展监督，即较小模型协助评估较大模型，OpenAI和Anthropic发布了在模型开发期间纳入人类反馈的指南。HITL与基于Transformer的架构和神经网络训练流程的集成是一个活跃的研究领域，重点是在保持可靠性和公平性的同时减少所需的人类工作量。