双Q学习是强化学习中Q学习算法的一种变体，旨在减少标准Q学习中可能出现的动作值过高估计问题。它由Hado van Hasselt于2010年提出。该方法维护两个独立的Q函数，并在更新过程中交替使用它们，从而缓解了贝尔曼方程中使用最大估计值所带来的正偏差。这使得它在奖励存在噪声或随机性的环境中特别有用，因为标准Q学习可能因价值估计膨胀而收敛到次优策略。
该算法是无模型的，意味着它不需要环境模型，并且无需调整即可处理具有随机转移和奖励的问题。对于任何有限马尔可夫决策过程，双Q学习与Q学习一样，旨在在无限探索时间和部分随机策略下，找到最大化连续步骤中预期总回报的最优策略。名称“Q”指的是质量函数，该函数计算在给定状态下采取某个动作的预期奖励。
Q学习中的过高估计
标准Q学习使用下一状态中所有可能动作的最大估计Q值来更新其价值函数。这种最大操作引入了系统性正偏差，因为噪声估计的最大值往往超过真实最大值。在奖励方差高或使用函数逼近的环境中，这种过高估计可能导致性能不佳，因为智能体可能反复选择看起来比实际更好的动作。例如，在一个网格迷宫中，智能体学习到达价值10分的出口，如果向右移动能更快到达出口，Q学习可能赋予向右移动比向左移动更高的价值，但如果噪声抬高了低效路径的价值，过高估计可能导致它偏向次优路径。
双Q学习通过将动作的选择与其价值的评估解耦来解决这一问题。它不使用单一Q函数，而是维护两个独立的估计，Q_A和Q_B。在每次更新中，一个函数用于选择下一状态中的最佳动作，另一个函数用于估计其价值。这减少了偏差，因为选择和评估基于不同的独立估计。
算法机制
双Q学习的核心更新规则涉及两个Q函数。在每个时间步t，智能体选择动作A_t，观察奖励R_{t+1}，并进入新状态S_{t+1}。以相等概率，算法更新Q_A或Q_B。例如，当更新Q_A时，它使用Q_B确定下一状态中的最佳动作，然后使用Q_A评估该动作的价值。更新遵循贝尔曼风格的方程，由学习率alpha（介于0和1之间）和折扣因子gamma（也介于0和1之间）加权，后者更重视即时奖励而非未来奖励。这种交替更新确保两个函数都不会占主导地位，并且由于最大操作应用于一个函数而价值从另一个函数读取，过高估计得以减少。
应用与扩展
双Q学习在深度强化学习中被广泛采用，构成了2015年由van Hasselt及其同事引入的双深度Q网络（Double DQN）算法的基础。Double DQN将该思想与Deep learning技术相结合，使用神经网络逼近Q函数，并在Atari游戏等任务中显示出改进的稳定性和性能。该方法也与更广泛的领域相关，如Artificial intelligence和Machine learning，其中基于价值的方法用于序列决策。研究人员已将这一概念扩展到其他设置，如多智能体系统和连续动作空间，尽管这些扩展通常需要额外修改。
与其他方法的关系
双Q学习是基于价值的强化学习算法家族的一部分，该家族包括标准Q学习和SARSA。与SARSA不同，SARSA学习所遵循策略的价值，而双Q学习是一种离策略方法，意味着它可以独立于智能体的动作学习最优策略。这一特性使其在探索策略上更加灵活。与标准Q学习相比，双Q学习以略微增加计算成本（由于维护两个函数）换取偏差的显著减少，这通常在实践中导致更快收敛到最优策略。该技术也与集成方法相关，集成方法通过平均多个估计来减少方差，但双Q学习特别针对偏差而非方差。
局限性与注意事项
虽然双Q学习减少了过高估计，但并未完全消除，尤其是当两个Q函数随时间变得相关时。在某些情况下，它可能引入低估，这可能在早期阶段减慢学习速度。该算法还需要仔细调整超参数，如学习率和折扣因子。在深度强化学习中，使用目标网络（如Double DQN中）增加了额外复杂性，但通常对稳定性是必要的。尽管存在这些挑战，双Q学习仍然是该领域的基础技术，其原理影响了许多后续算法，包括在BAIR (Berkeley AI Research)和MIT CSAIL等机构开发的高级系统中使用的算法。
信息框
- 类型：概念
- 引入时间：2010
- 引入者：Hado van Hasselt
- 相关：q-learning
类别
- reinforcement-learning
- algorithm
- machine-learning
- value-based-methods