DQN（深度Q网络） 是一种深度强化学习算法，由DeepMind（现为Google DeepMind的一部分）的研究人员开发，并于2015年在《自然》期刊上首次发表。该算法将经典的Q学习算法与深度神经网络相结合，用于近似动作价值函数，使智能体能够直接从高维感官输入（例如视频游戏中的原始像素帧）中学习。该算法在多种Atari 2600游戏上实现了超越人类水平的表现，成为人工智能领域的一项里程碑式成果。
DQN的核心创新在于其能够稳定神经网络在强化学习中的训练过程。传统的Q学习在结合函数逼近时，常因序列数据的相关性和非平稳目标而导致发散。DQN通过两种关键机制解决了这些问题：经验回放和目标网络。经验回放将过去的转移存储在记忆缓冲区中，并均匀随机采样小批量数据，从而打破时间相关性。目标网络是主网络的定期更新副本，提供一致的目标值，从而降低反馈循环的风险。
架构与训练
DQN使用卷积神经网络（CNN）处理原始游戏帧。输入是最近四帧灰度图像的堆叠，尺寸调整为84x84像素。网络架构通常由三个卷积层和两个全连接层组成，最终输出层为每个可能的动作对应一个神经元。网络训练的目标是最小化预测Q值与目标值之间的均方误差，其中目标值通过贝尔曼方程计算。
训练过程采用ε-贪婪策略，智能体以概率ε进行探索，否则利用当前策略。ε值随时间从1.0退火至0.1。算法使用RMSProp优化器，学习率为0.00025。经验回放缓冲区最多存储一百万个转移，目标网络每10,000步更新一次。
在Atari游戏上的表现
在2015年的原始论文中，DQN在Arcade Learning Environment中的49款Atari 2600游戏上进行了评估。智能体仅接收原始像素输入和游戏得分作为奖励，没有任何任务特定信息。DQN在29款游戏上的表现超越了所有先前算法，并在多款游戏（如Breakout、Enduro和Pong）上超过了专业人类测试者的得分。例如，在Breakout游戏中，智能体学会了通过打通隧道来高效清砖的策略，这是人类玩家未曾采用的方法。
扩展与影响
DQN的成功引发了深度强化学习领域的研究热潮。后续扩展包括：Double DQN，用于减少过估计偏差；Dueling DQN，将价值流和优势流分离；以及优先经验回放，更频繁地采样重要转移。这些改进最终促成了Rainbow算法，该算法将多种增强技术整合到一个智能体中。DQN还影响了其他算法的发展，如A3C和DDPG，并将其应用扩展到游戏之外，包括机器人技术、自动驾驶和资源管理等领域。
局限性
尽管取得了成功，DQN仍存在显著局限性。其样本效率较低，学习单个游戏需要数百万帧数据。此外，它难以处理需要长期记忆或稀疏奖励的任务，因为经验回放缓冲区可能无法保留关键的稀有事件。该算法对超参数敏感，性能在不同随机种子下波动较大。另外，DQN依赖离散动作空间，这限制了其在常见于现实机器人技术中的连续控制问题上的直接应用。
遗产
DQN被广泛视为现代人工智能和机器学习领域的基础性贡献。它证明了深度学习可以与强化学习有效结合，以解决复杂的序列决策问题。DQN引入的技术，如经验回放和目标网络，现已成为许多强化学习系统的标准组件。该算法在Atari游戏上的成功也确立了Arcade Learning Environment作为评估强化学习智能体的基准，这一实践在后续研究中得以延续。DQN的影响还延伸至生成式人工智能和大规模模型的发展，因为稳定训练和函数逼近的原理在这些领域是共通的。其遗产在Google DeepMind、OpenAI和Anthropic等机构的持续工作中显而易见，强化学习仍是这些机构探索的关键领域。