深度强化学习（deep RL）是机器学习的一个子领域，融合了强化学习（RL）和深度学习。强化学习关注计算代理如何通过试错学习做出决策，而深度学习则提供了处理复杂高维数据的工具。通过整合深度神经网络，深度强化学习使代理能够直接从非结构化输入（如原始摄像头图像或传感器读数）中推导出策略，而无需手动特征工程。这种方法推动了从视频游戏和机器人技术到自然语言处理和医疗保健等多个领域的突破。
强化学习中的核心问题通常被建模为马尔可夫决策过程（MDP），其中代理在每个时间步占据一个状态，选择一个动作，接收一个标量奖励，并根据环境动态转换到新状态。代理的目标是学习一个策略，即从观察到动作的映射，以最大化预期累积奖励。当状态是高维的（例如视频帧中的每个像素）时，传统强化学习算法会面临困难。深度强化学习通过将策略或其他学习函数（如价值函数或Q函数）表示为神经网络来解决这一问题，从而在复杂环境中实现可扩展的决策。
历史发展
将神经网络与强化学习结合的兴趣随着20世纪80年代中期神经网络的复兴而增长。在此类系统中，从传感器到电机的整个决策流程可以是一个单一网络，有时称为端到端强化学习。最早的成就之一是TD-Gammon，这是一个1992年开发的西洋双陆棋程序。它使用198个表示棋子位置的输入信号，并通过自我对弈和TD(λ)算法学习到中等水平，且没有内置领域知识。
开创性教科书，包括Sutton和Barto关于强化学习的著作以及Bertsekas和Tsitiklis关于神经动态规划的著作，推进了理论理解。研究人员如Katsunari Shibata的团队证明，各种认知功能（如图像识别、颜色恒常性、手眼协调和选择性注意）可以在此框架内涌现。然而，进展受到计算限制和有效训练深度网络难度的制约。
2012年前后的深度学习革命重新激发了在许多领域使用深度神经网络作为函数逼近器的兴趣。这促使研究人员重新审视强化学习算法，应用深度网络来表示策略、价值函数和Q函数。这种结合被证明具有变革性，推动了算法设计和实际应用的快速进步。
游戏领域的关键突破
大约从2013年开始，DeepMind展示了使用深度强化学习玩Atari视频游戏的显著成果。他们的深度Q网络（DQN）使用卷积神经网络处理四帧84x84 RGB像素作为输入，并以游戏得分作为奖励。在49款游戏中，相同的架构和最少的先验知识在几乎所有游戏上优于竞争方法，达到了与专业人类测试者相当或更优的性能。
2015年，AlphaGo成为第一个在完整19x19棋盘上无让子击败人类职业围棋选手的计算机程序，这一里程碑曾被认为需要数十年才能实现。AlphaGo将深度神经网络与蒙特卡洛树搜索相结合，从人类对局和自我对弈中学习。2017年，AlphaZero推广了这种方法，使用相同算法在围棋、国际象棋和将棋中达到超人类水平，且除了规则外没有游戏特定知识。2019年推出的MuZero通过学习环境模型本身进一步改进。
其他显著成就包括卡内基梅隆大学研究人员于2019年开发的Pluribus，它成为第一个在多人无限注德州扑克中击败职业选手的程序。同年，OpenAI Five在五对五Dota 2表演赛中击败了卫冕世界冠军，展示了深度强化学习处理复杂多智能体策略游戏的能力。
核心算法与技术
深度强化学习算法通常分为几类。基于价值的方法（如DQN）学习估计预期回报的动作价值函数Q(s,a)，然后通过选择具有最高Q值的动作来推导策略。基于策略的方法直接优化策略网络，通常使用策略梯度技术。演员-评论家方法结合了两者，使用演员网络表示策略和评论家网络进行价值估计，以提高稳定性和样本效率。
几项创新对训练稳定性至关重要。经验回放存储过去的转换并随机采样，打破序列数据中的相关性。目标网络提供固定的Q值目标，减少发散。Gradient Clipping和Batch Normalization等技术有助于管理训练动态。对于连续控制任务，DDPG和SAC等算法扩展了这些思想，而Residual Network (ResNet)架构和Layer Normalization通常用于有效处理深度网络。
游戏之外的应用
深度强化学习已在众多领域找到应用。在机器人技术中，它使代理能够直接从摄像头或传感器输入学习复杂的运动技能，如抓取和操作。这已在模拟和真实环境中得到证明，Figure AI和Sanctuary AI等公司正在探索通过强化学习训练的人形机器人。在自动驾驶中，深度强化学习有助于导航和决策，如Waymo和Tesla的努力所示。
在自然语言处理中，深度强化学习用于对话生成和摘要等任务，其中奖励可能来自人类反馈或任务特定指标。医疗保健应用包括个性化治疗策略和药物发现，其中强化学习优化顺序决策。在金融领域，深度强化学习支持算法交易和投资组合管理，而在教育领域，它驱动自适应辅导系统，根据学生需求定制内容。
挑战与局限
尽管取得了成功，深度强化学习仍面临重大挑战。样本效率仍然是一个主要问题，许多算法需要数百万次交互才能学习，限制了实际部署。奖励设计通常很困难，因为稀疏或定义不当的奖励会阻碍学习。探索-利用权衡在高维空间中尤为突出，随机探索效率低下。
稳定性和可复现性也是关注点。深度强化学习训练可能对超参数、随机种子和网络架构敏感，导致不同运行结果不一致。深度函数逼近器缺乏理论保证意味着性能可能不可预测。此外，在医疗保健和自动驾驶等领域，安全性和可解释性至关重要，错误会带来严重后果。研究人员正在通过Curriculum Learning、Reinforcement Learning from AI Feedback (RLAIF)和改进的探索方法等技术积极解决这些问题。
与其他AI领域的关系
深度强化学习位于多个AI学科的交叉点。它借鉴Deep learning进行表示学习，Reinforcement learning进行决策，以及Neural network理论进行函数逼近。它不同于依赖标注数据的Supervised learning方法，也不同于在没有明确奖励的情况下发现模式的Unsupervised learning。然而，深度强化学习通常包含监督组件，如模仿学习或基于专家演示的预训练。
该领域还与Generative AI相关，通过为内容生成或交互环境学习策略的模型。Large language model研究已开始整合强化学习，特别是通过RLHF等技术，其中模型基于人类偏好进行微调。这种协同在OpenAI、Anthropic和Google DeepMind等组织的工作中显而易见，它们将深度强化学习与其他方法结合以创建更强大的系统。
未来方向
展望未来，深度强化学习可能侧重于通过更好的探索策略、学习环境动态的基于模型的方法以及快速适应新任务的元学习方法来提高样本效率。多智能体深度强化学习（多个代理学习和交互）是一个活跃领域，应用于游戏、经济学和机器人技术。跨任务的迁移学习和泛化仍然是关键目标，同时使深度强化学习更加稳健和可解释。
硬件进步，如AWS Trainium和Google Cloud TPU等专用加速器，正在实现更大规模的训练。MIT CSAIL、Stanford AI Lab和BAIR (Berkeley AI Research)等研究机构继续推动理论和实践边界。随着深度强化学习的成熟，其与其他AI范式的整合有望在自主系统、个性化服务和科学发现中解锁新能力。