SAC（Soft Actor-Critic）是一种为连续动作空间设计的强化学习算法，由Tuomas Haarnoja及其同事于2018年在伯克利人工智能研究实验室提出。该算法以其稳定性和样本效率著称，成为机器人控制任务及其他连续控制问题的热门选择。它是一种离策略方法，融合了最大熵强化学习，通过最大化期望回报和策略熵来鼓励探索。
SAC的核心思想是训练一个随机策略，旨在最大化期望累积奖励与熵（动作选择随机性的度量）之间的权衡。这一熵项促进了行为的多样性，防止过早收敛到次优策略。SAC采用三个主要组件：一个输出动作概率分布的演员网络，两个估计状态-动作值（Q值）的评论家网络，以及一个控制奖励与熵之间平衡的温度参数。使用两个评论家有助于减少过估计偏差，这是基于Q学习方法中的常见问题。
算法框架
SAC在演员-评论家范式下运行，其中演员（策略）被更新以最大化期望Q值加上熵奖励，而评论家则被更新以最小化时间差分误差。该算法使用回放缓冲区存储过去的经验，从而实现离策略学习和提高数据效率。一个关键创新是使用软Q函数，将熵项纳入值估计中。温度参数在训练过程中自动调整，以维持目标熵水平，从而实现自适应探索。
策略通常建模为高斯分布，其均值和方差由神经网络输出。动作从该分布中采样，并使用重参数化技巧通过采样过程计算梯度。这允许稳定且高效的策略更新。评论家也是神经网络，其目标使用当前策略的熵增强值计算，形成自洽的更新方案。
训练动态与稳定性
SAC被设计为对超参数设置具有鲁棒性，相比早期算法如DDPG或PPO，需要更少的调参。其离策略特性允许它重用回放缓冲区中的数据，从而加速学习。熵正则化帮助策略在收敛过程中保持探索，降低陷入局部最优的风险。在实践中，SAC在OpenAI Gym MuJoCo任务等基准测试中展示了最先进的性能，通常以更少的样本获得更高的回报。
算法的稳定性通过使用评论家的目标网络进一步增强，这些网络通过软更新（Polyak平均）进行更新。这减少了目标值的方差并稳定了训练。此外，自动温度调整确保熵系数适应任务的难度，允许在复杂环境中进行更多探索，在简单环境中进行较少探索。
应用与变体
SAC已被广泛应用于机器人学和控制领域，包括运动、操作和自主导航等任务。其样本效率使其适用于数据收集成本高昂的现实世界应用，如手术机器人和自动驾驶车辆。已提出多种变体来解决特定挑战，包括具有自动超参数调整的SAC、离散动作空间适配以及多智能体设置的扩展。研究人员还将SAC与深度学习技术相结合，通过引入卷积网络来处理高维观测（如图像）。
在人工智能领域，SAC影响了后续算法，如TD3和REDQ，这些算法基于其原理构建。其在最大熵强化学习中的理论基础也启发了机器学习中超越控制的研究，包括生成模型中的探索策略。
与其他算法的比较
SAC与PPO等在线策略方法不同，它可以重用过去的数据，从而获得更高的样本效率。与确定性的DDPG相比，SAC的随机策略提供了更好的探索和鲁棒性。然而，SAC的计算成本更高，因为需要训练两个评论家和一个随机演员。在实践中，SAC在连续控制基准测试中通常优于DDPG和PPO，特别是在最终性能和学习速度方面。其基于熵的探索也使其对奖励稀疏性更具韧性，这是强化学习中的常见挑战。
局限性与未来方向
尽管SAC具有优势，但它也有局限性。它可能难以处理非常高维的动作空间，并且在稀疏奖励或长视野环境中性能可能下降。该算法假设完全可观测状态，这限制了其直接应用于部分可观测设置，尽管已探索了如循环SAC等扩展。未来研究侧重于提高可扩展性、整合基于模型的思想，并将SAC扩展到具有安全约束的现实世界机器人系统。截至2025年，SAC仍是强化学习中的基础算法，在学术界和工业界广泛使用。
参考文献与影响
原始SAC论文《Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》于2018年在第35届国际机器学习大会（ICML）上发表。此后，它积累了数千次引用，成为其时代最具影响力的强化学习算法之一。其在Stable Baselines3和RLlib等库中的开源实现促进了其在各个领域的采用，从基于云的模拟到云机器人研究。