2015年发表在《自然》杂志上的论文《通过深度强化学习实现人类水平控制》，由谷歌DeepMind的研究人员撰写，引入了深度Q网络（DQN），这是深度强化学习领域的一个里程碑。它证明了一种单一算法能够仅利用原始像素输入和游戏得分作为奖励，在广泛的Atari 2600游戏中达到或超过人类水平。这项工作连接了机器学习和深度学习，展示了神经网络能够在高维状态空间中近似Q函数，这是Q学习中一个此前被认为难以处理的问题。
DQN结合了经典的Q学习算法（该算法估计给定状态下动作的预期奖励或质量）与深度卷积神经网络。该网络被训练以近似最优动作价值函数，将游戏画面映射到每个可能动作的预期未来奖励。论文的关键创新解决了将非线性函数逼近与强化学习结合时的不稳定性问题，使得在原始视觉输入上进行稳定训练成为可能。
背景：Q学习与强化学习
强化学习涉及智能体与环境交互，采取动作并接收奖励以最大化累积奖励。Q学习开发于1980年代，是一种无模型算法，学习在给定状态下采取动作的价值，即Q值。对于有限马尔可夫决策过程，Q学习在充分探索下可以找到最优策略，但它传统上依赖表格表示，限制了其在小型状态空间中的应用。DQN论文通过使用深度神经网络作为函数逼近器，将Q学习扩展到高维输入，这一概念早期曾被探索，但直到2015年才成功扩展。
架构与训练创新
DQN架构使用了类似于图像识别中使用的深度卷积神经网络来处理原始Atari帧。网络将四个连续游戏帧作为输入，以捕捉运动信息，并输出多达18个可能动作的Q值。两个关键创新实现了稳定训练。首先，经验回放：智能体将转换（状态、动作、奖励、下一状态）存储在记忆缓冲区中，并随机采样小批量进行训练，打破了连续样本之间的相关性。其次，目标网络：网络的单独副本，定期更新，用于计算目标Q值，降低了因移动目标而发散的风险。该算法还使用了0.99的折扣因子、0.00025的学习率，以及随时间衰减的ε-贪心探索策略。
结果与影响
DQN在49款Atari 2600游戏上进行了测试，这是强化学习的标准基准。它在包括Breakout、Enduro和Pong在内的许多游戏中取得了超人类表现，并超越了所有先前的强化学习方法。在29款游戏中，DQN的得分至少达到人类表现的75%，在6款游戏中超过了人类得分。论文报告称，DQN在单个GPU上每款游戏训练约10天，处理约3800万帧。这些结果有力地证明了深度强化学习能够处理复杂的高维感官输入，而无需手工设计的特征。
遗产与后续发展
DQN论文催化了深度强化学习研究的激增。它启发了众多扩展，如Double DQN、Dueling DQN和优先经验回放，这些扩展提高了性能和稳定性。它还影响了AlphaGo的开发，这是DeepMind后来的一个系统，结合了深度学习与蒙特卡洛树搜索，击败了围棋世界冠军。DQN中引入的技术，包括经验回放和目标网络，成为强化学习中的标准工具。该论文被广泛引用，被认为是该领域的奠基性工作，与人工智能和深度学习的其他进展并列。其成功也凸显了谷歌DeepMind作为领先研究实验室的潜力，并促进了深度学习在生成式人工智能及其他领域的更广泛采用，尽管它对大型语言模型的直接影响是间接的，因为这些模型依赖于监督和自监督学习，而非环境奖励的强化。
接受与批评
尽管因其成就而受到赞誉，DQN论文也面临审视。一些研究人员指出，DQN的性能在不同游戏间有所差异，某些游戏难以处理，并且它需要大量的计算资源。后来的分析揭示，DQN的成功部分归因于Atari环境的确定性，而随机环境带来了额外挑战。尽管如此，论文的方法论贡献和实证结果确立了深度强化学习作为一种可行且强大的方法，影响了机器人技术、游戏玩法和自主系统等后续工作。该论文仍然是强化学习课程和研究中的关键参考，其创新继续为现代算法提供信息。