Actor-Critic是一类结合了基于策略和基于价值方法的强化学习算法。该方法维护两个独立的模型：一个actor，学习策略以选择动作；一个critic，通过估计价值函数来评估所采取的动作。这种混合设计旨在降低纯策略梯度方法的高方差，同时避免纯基于价值方法的偏差，使其成为现代机器学习系统中序贯决策的基石。
Actor-Critic架构于20世纪80年代正式提出，建立在早期人工智能和控制理论工作的基础上。随着深度强化学习的出现，它获得了显著地位，其中神经网络函数逼近器被用于actor和critic。如今，它支撑着许多最先进的算法，包括A3C、DDPG和PPO，这些算法已应用于机器人技术、游戏和自主系统。
核心组件
Actor是一个策略函数，通常表示为π(a|s)，它将状态映射到动作上的概率分布。它被更新以增加导致更高回报的动作的可能性。Critic是一个价值函数，通常是V(s)或Q(s,a)，它估计从给定状态或状态-动作对获得的预期累积奖励。Critic提供基线或优势估计，以减少策略梯度更新中的方差，从而实现更稳定的学习。
在实践中，actor和critic通常都实现为深度学习模型，例如多头注意力网络或残差网络架构，具体取决于环境的复杂性。Critic的错误信号用于更新两个模型，形成一个反馈循环，迭代地提高性能。
训练动态
在训练期间，智能体与环境交互，收集状态、动作和奖励的轨迹。Critic计算时间差分（TD）误差，该误差衡量预测回报与实际回报之间的差异。这些误差用于更新critic的价值估计，并计算优势函数，该函数指导actor的更新。Actor调整其策略以偏向具有正优势的动作，而critic则随着时间的推移细化其价值预测以变得更准确。
一个关键挑战是平衡探索和利用。Actor的策略通常是随机的，允许探索，而critic的价值估计指导利用。诸如熵正则化和课程学习之类的技术通常被采用以鼓励在复杂环境中进行探索。
变体和扩展
已经开发了几种有影响力的actor-critic方法变体。异步优势Actor-Critic（A3C）使用多个并行智能体来稳定训练。深度确定性策略梯度（DDPG）使用确定性策略将方法扩展到连续动作空间。近端策略优化（PPO）引入了一个裁剪目标以限制策略更新，提高了可靠性。这些方法已在研究和工业中被广泛采用，在TensorFlow和PyTorch等主要框架中都有实现。
最近的扩展整合了基于Transformer的架构，使actor-critic模型能够处理高维输入，如图像和文本。例如，大型语言模型智能体使用actor-critic原理根据奖励信号细化其响应，如从AI反馈中强化学习（RLHF）所示。
应用
Actor-critic方法已成功应用于各个领域。在机器人技术中，它们使Sanctuary AI和Figure AI系统能够学习操作和移动技能。在自动驾驶中，Waymo和Tesla Autopilot等公司使用强化学习进行决策。在游戏领域，actor-critic算法在围棋和Dota 2等游戏中取得了超人水平的性能。此外，它们还被用于资源分配、金融和医疗保健，在这些领域中，不确定性下的序贯决策很常见。
局限性和未来方向
尽管取得了成功，actor-critic方法仍面临诸如样本效率低下、训练期间不稳定以及对超参数敏感等挑战。研究继续通过诸如模型剪枝以提高效率、批归一化以增强稳定性以及学习率调度调整等技术来解决这些问题。未来方向包括将actor-critic与生成式AI和神经网络的进步相结合，以创建更通用和样本高效的智能体。
截至2025年，actor-critic仍然是强化学习中的基本范式，来自MIT CSAIL、伯克利AI研究和Google DeepMind等机构的持续创新推动了其发展。其混合性质确保了它在理论研究和实际部署中的相关性。