DQN（深度Q网络） 是一种深度强化学习算法，由DeepMind（现为Google DeepMind的一部分）的研究人员开发，并首次在2015年发表于《自然》期刊的论文中提出。它将经典的Q学习算法与深度神经网络相结合，用于逼近动作价值函数，使智能体能够直接从高维输入（如视频游戏中的原始像素帧）中学习。该算法在多项Atari 2600游戏中达到了超越人类专家的表现，成为人工智能领域的一个里程碑式成果。
DQN的核心创新在于其稳定训练深度神经网络用于强化学习的能力。传统的Q学习结合函数逼近时，常因序列数据中的相关性以及非平稳的目标值而导致发散。DQN通过两个关键机制解决了这些问题：经验回放和目标网络。经验回放将过去的转移样本存储在记忆缓冲区中，并从中均匀随机采样小批量数据，从而打破时间相关性。目标网络则是主网络的周期性副本，用于生成稳定的目标值，降低反馈循环带来的风险。
架构与训练
DQN使用卷积神经网络（CNN）处理原始游戏帧。输入是最近四帧灰度图像的堆叠，并调整为84×84像素。网络架构通常包含三个卷积层，后接两个全连接层，输出层为每个可能动作对应一个神经元。训练过程中，网络通过最小化预测Q值与目标值之间的均方误差来更新参数，目标值由贝尔曼方程计算得出。
训练采用ε-贪心策略，智能体以概率ε进行随机探索，以概率1-ε选择当前最优动作。ε值随时间从1.0逐渐衰减至0.1。算法使用Adam或RMSProp优化器，学习率设为0.00025。经验回放缓冲区可容纳多达一百万条转移记录，目标网络每10,000步更新一次。
在Atari游戏上的表现
在2015年的原始论文中，DQN在Arcade Learning Environment中的49款Atari 2600游戏上进行了评估。智能体仅接收原始像素输入和游戏得分作为奖励，没有任何任务特定的先验信息。DQN在29款游戏上的表现超越了所有先前算法，并在多款游戏（如Breakout、Enduro和Pong）中超过了专业人类测试者的水平。例如，在Breakout中，智能体学会了通过打通隧道来更高效地清除砖块，这种策略此前并未被人类玩家所知晓。
扩展与影响
DQN的成功引发了深度强化学习领域的研究热潮。后续的扩展包括Double DQN，用于减少过估计偏差；Dueling DQN，将价值流和优势流分离；以及优先经验回放，更频繁地采样重要转移。这些改进最终促成了Rainbow算法，它将多种增强技术整合到单一智能体中。DQN还影响了其他算法的发展，如A3C和DDPG，并将其应用扩展到游戏之外，包括机器人控制、自动驾驶和资源管理等领域。
局限性
尽管取得了成功，DQN仍存在显著局限性。它样本效率较低，学习单个游戏需要数百万帧数据。此外，它难以处理需要长期记忆或稀疏奖励的任务，因为经验回放缓冲区可能无法保留关键稀有事件。该算法对超参数敏感，不同随机种子下的表现差异较大。另外，DQN依赖离散动作空间，这限制了其在连续控制问题（常见于现实机器人技术）中的直接应用。
遗产
DQN被广泛视为现代人工智能和机器学习领域的奠基性贡献。它证明了深度学习可以与强化学习有效结合，以解决复杂的序列决策问题。DQN引入的技术，如经验回放和目标网络，现已成为许多强化学习系统的标准组件。该算法在Atari游戏上的成功也确立了Arcade Learning Environment作为评估强化学习智能体的基准，这一实践在后续研究中持续沿用。DQN的影响延伸至生成式人工智能和大规模模型的发展，其稳定训练和函数逼近的原则在这些领域同样适用。其遗产在Google DeepMind、OpenAI和Anthropic等机构的持续工作中显而易见，强化学习仍是这些机构探索的关键领域。