深度Q网络（DQN）是一种强化学习算法，它将深度学习与Q学习相结合，使智能体能够在具有大型或连续状态空间的环境中做出决策。该算法由Google DeepMind的研究人员在2015年发表于《自然》杂志的一篇论文中提出，仅使用原始像素输入和游戏得分，就在49款Atari 2600游戏中展示了人类水平的性能。该算法扩展了经典Q学习，后者传统上依赖表格形式的状态-动作值表征，通过使用神经网络来逼近Q函数，使其能够泛化到相似状态，并处理图像等输入。
在Q学习中，Q函数用于估计在给定状态下采取某个动作后，遵循最优策略所能获得的预期累积回报。对于有限马尔可夫决策过程，在无限探索和合适学习率的条件下，Q学习可证明收敛于最优策略。然而，当状态空间巨大时（例如在视觉任务中，每种像素配置都构成一个独特状态），表格型Q学习变得不切实际。DQN通过训练深度神经网络将状态映射到动作值来解决这一问题，从而有效地将状态空间压缩为学习到的特征表示。
DQN的核心创新在于两项稳定技术：经验回放和目标网络。经验回放将过去的转换（状态、动作、奖励、下一个状态）存储在内存缓冲区中，并在训练期间随机采样小批量数据，从而打破连续样本之间的相关性，提高数据效率。目标网络是主网络的定期更新副本，用于计算目标Q值，降低因追逐移动目标而导致发散的风险。这些机制对该算法在复杂环境中的成功至关重要。
DQN用于离散动作空间，其中网络为每个可能的动作输出一个Q值。智能体采用epsilon贪心策略选择动作，平衡探索（随机动作）与利用（选择最高Q值）。随着时间的推移，epsilon衰减，促使智能体转向利用已学到的知识。该算法通过对预测Q值与目标值之间的均方误差进行最小化来优化网络，目标值通过贝尔曼方程计算，并使用折扣因子gamma对未来回报进行加权。
历史背景与影响
2015年DQN论文标志着人工智能领域的一个里程碑，表明单一算法能够从零开始学习玩多种Atari游戏，超越了之前的基准，并在部分游戏中超越人类表现。这项工作建立在早期强化学习和神经网络函数逼近研究的基础上，包括使用卷积网络处理视觉输入。DQN的成功推动了深度强化学习研究的热潮，催生了诸如Double DQN、Dueling DQN和优先经验回放等变体，每种变体都针对特定的局限性，如过估计偏差或样本效率问题。
算法细节
DQN更新规则遵循Q学习的贝尔曼方程。在每个时间步，智能体观察到状态\(S_t\)，选择动作\(A_t\)，接收奖励\(R_{t+1}\)，并转移到\(S_{t+1}\)。目标值计算为\(R_{t+1} + \gamma \max_a Q(S_{t+1}, a; \theta^-)\)，其中\(\theta^-\)为目标网络参数。主网络参数\(\theta\)通过梯度下降来更新，损失等于\(\mathbb{E}[(\text{目标值} - Q(S_t, A_t; \theta))^2]\)。折扣因子\(\gamma\)通常设置为0.9到0.99之间，强调近期奖励，同时仍考虑长期收益。
应用与局限性
DQN已应用于游戏之外的领域，包括机器人控制、资源管理和自主导航。然而，其对离散动作的依赖限制了其在连续控制任务中的使用，这类任务更倾向于使用DDPG或PPO等算法。此外，DQN可能样本效率较低，且对超参数调优敏感，需要仔细调整学习率、经验回放大小和网络架构。到2020年代中期，更为先进的方法在研究领域已逐步取代DQN，但它仍然是理解深度强化学习的基石和基准。
遗产与进一步发展
DQN引入的原理，即经验回放和目标网络，已成为后续许多强化学习算法中的标准组件。其成功证明了将深度学习与强化学习相结合的可行性，影响了像BAIR (Berkeley AI Research)和Stanford AI Lab这样的机构的研究工作。该算法还强调了稳定训练动态的重要性，这一挑战持续推动该领域的研究。DQN的遗产在现代AI系统中依然存在，特别是在智能体需从高维感官输入中学习并做出离散决策的领域。