2015年发表在《自然》杂志上的论文《通过深度强化学习实现人类水平的控制》，由谷歌DeepMind的研究人员撰写，引入了深度Q网络（DQN），这是深度强化学习领域的一个里程碑。它证明了一种单一算法能够仅利用原始像素输入和游戏得分作为奖励，学习玩多种Atari 2600游戏，并达到或超过人类水平。这项工作连接了机器学习和深度学习，展示了神经网络能够在高维状态空间中近似Q学习中的Q函数，而这一问题此前被认为难以解决。
DQN将经典Q学习算法（该算法估计给定状态下动作的预期奖励，即质量）与深度卷积神经网络相结合。该网络被训练来近似最优动作价值函数，将游戏画面映射到每个可能动作的预期未来奖励。论文的关键创新解决了将非线性函数逼近与强化学习结合时的不稳定性问题，从而能够在原始视觉输入上进行稳定训练。
背景：Q学习与强化学习
强化学习涉及智能体与环境交互，采取动作并接收奖励以最大化累积奖励。Q学习开发于20世纪80年代，是一种无模型算法，用于学习在给定状态下采取动作的价值，即Q值。对于有限马尔可夫决策过程，在充分探索的情况下，Q学习可以找到最优策略，但它传统上依赖表格表示，限制了其在小状态空间中的应用。DQN论文通过使用深度神经网络作为函数逼近器，将Q学习扩展到高维输入，这一概念此前曾被探索，但直到2015年才成功扩展。
架构与训练创新
DQN架构使用深度卷积神经网络（类似于图像识别中使用的网络）来处理原始Atari帧。网络将四个连续游戏帧作为输入，以捕捉运动信息，并为最多18个可能动作输出Q值。两个关键创新实现了稳定训练。首先，经验回放：智能体将转换（状态、动作、奖励、下一状态）存储在记忆缓冲区中，并随机采样小批量进行训练，打破连续样本之间的相关性。其次，目标网络：网络的单独副本，定期更新，用于计算目标Q值，降低因移动目标导致发散的风险。该算法还使用了0.99的折扣因子、0.00025的学习率，以及随时间衰减的epsilon贪婪探索策略。
结果与影响
DQN在49款Atari 2600游戏上进行了测试，这是强化学习的标准基准。它在许多游戏（包括Breakout、Enduro和Pong）上取得了超人类表现，并超越了所有先前的强化学习方法。在29款游戏中，DQN的得分至少达到人类表现的75%，在6款游戏中超过了人类得分。论文报告称，DQN在单个GPU上每款游戏训练约10天，处理约3800万帧。这些结果有力地证明了深度强化学习能够处理复杂、高维的感官输入，而无需手工设计特征。
遗产与后续发展
DQN论文催化了深度强化学习研究的热潮。它启发了众多扩展，如Double DQN、Dueling DQN和优先经验回放，这些改进提升了性能和稳定性。它还影响了AlphaGo的开发，这是DeepMind后来的一个系统，将深度学习与蒙特卡洛树搜索相结合，击败了围棋世界冠军。DQN中引入的技术，包括经验回放和目标网络，成为强化学习的标准工具。该论文被广泛引用，被视为该领域的基础性工作，与人工智能和深度学习的其他进展并列。其成功也凸显了Google DeepMind作为领先研究实验室的潜力，并促进了深度学习在生成式人工智能及其他领域的更广泛采用，尽管其对大型语言模型的直接影响是间接的，因为后者依赖监督和自监督学习，而非环境奖励的强化。
接受与批评
尽管DQN论文因其成就而备受赞誉，但也面临审视。一些研究人员指出，DQN的性能在不同游戏间存在差异，某些游戏难以处理，且需要大量计算资源。后来的分析揭示，DQN的成功部分归因于Atari环境的确定性，而随机环境带来了额外挑战。尽管如此，论文的方法论贡献和实证结果确立了深度强化学习作为一种可行且强大的方法，影响了后续在机器人、游戏和自主系统方面的工作。该论文仍是强化学习课程和研究中的关键参考，其创新继续为现代算法提供启示。