时序差分（TD）学习是一种基础性的强化学习技术，它弥合了蒙特卡洛方法与动态规划之间的鸿沟。它使智能体能够在不具备环境动态模型的情况下，从原始经验中学习，同时还能基于其他已学习的估计值来更新自身的估计，这一过程被称为自举。这种结合使得TD学习既具有计算效率，又适用于在线、增量式学习任务，使其成为现代人工智能系统的基石。
TD学习的核心思想是在每个时间步之后立即更新价值估计，利用观察到的奖励和下一状态的估计值。这与蒙特卡洛方法形成对比，后者需要等到一个回合结束才能计算实际回报；也与动态规划形成对比，后者需要完整的环境模型。通过使用单步前瞻，TD学习可以从不完整的序列中学习，无需等待最终结果，因此适用于连续任务。
算法基础
TD学习最简单的形式是TD(0)，其中状态价值的更新公式为：V(s) ← V(s) + α [r + γ V(s') - V(s)]，其中α是学习率，r是获得的奖励，γ是折扣因子，s'是下一状态。方括号中的项是TD误差，它衡量当前估计与基于观察到的奖励和下一状态得出的更优估计之间的差异。该更新规则是一种自举形式，因为它使用V(s')的当前估计来更新V(s)。
TD学习可以推广到TD(λ)，它通过资格迹在TD(0)和蒙特卡洛方法之间进行插值。参数λ控制着自举与使用完整回报之间的平衡。当λ = 0时，算法等价于TD(0)；当λ = 1时，它变成蒙特卡洛方法。这种灵活性使得TD(λ)能够在偏差和方差之间进行权衡，通常比两种极端情况收敛得更快。
历史发展
TD学习的概念由理查德·萨顿在其1988年的论文《通过时序差分方法学习预测》中提出。当时在GTE实验室工作的萨顿，将这一思想形式化为一种结合蒙特卡洛和动态规划优点的方法。他的工作受到了早期动物学习和心理学研究的启发，特别是关于预测和奖励预测误差的思想。该算法在20世纪90年代因TD-Gammon程序而声名鹊起，该程序通过自我对弈学会了世界级的西洋双陆棋，展示了TD学习在复杂领域中的强大能力。
在强化学习中的应用
TD学习是许多强化学习算法的核心组成部分。它被用于Q学习，这是一种学习状态-动作对价值的无模型算法；也用于SARSA（状态-动作-奖励-状态-动作），它学习所遵循策略的价值。这两种算法都使用TD更新来精炼其估计。TD学习还支撑着演员-评论家方法，其中演员学习策略，评论家使用TD误差学习价值函数。这些方法已成功应用于机器人技术、游戏和自主系统。
在现代深度强化学习中，TD学习与神经网络相结合以处理高维状态空间。例如，DeepMind在2013年开发的深度Q网络（DQN）算法，使用神经网络来逼近Q函数，并使用TD目标进行更新。该方法在Atari游戏上达到了人类水平的表现，标志着人工智能的一个重要里程碑。随后的改进，如Double DQN和Dueling DQN，进一步精炼了TD更新，以减少过度估计并提高稳定性。
与其他学习范式的关系
TD学习与其他机器学习技术有着概念上的相似性。其自举的使用类似于神经网络通过层间反向传播误差的方式。TD误差可以被视为一种预测误差，类似于监督学习中使用的损失函数。然而，TD学习的独特之处在于它从状态和奖励的序列中学习，而无需显式标签，使其成为一种强化学习形式，而非监督学习。
时序差分的概念也出现在其他领域。在人工智能中，它与神经科学中的预测编码理论相关，该理论认为大脑旨在最小化预测误差。在经济学中，类似的概念出现在学习和期望形成的模型中。这种跨学科的相关性使得TD学习成为计算机科学之外的研究主题，包括心理学和认知科学。
局限性与扩展
尽管TD学习有其优势，但也存在局限性。它可能对学习率和折扣因子的选择敏感，并且在某些情况下与函数逼近结合时可能发散。自举、函数逼近和离策略学习构成的“致命三要素”可能导致不稳定性。研究人员开发了诸如梯度TD方法和强调性TD算法等扩展，以解决这些问题，提供更稳健的收敛保证。
另一个局限性是TD学习可能样本效率较低，需要与环境进行大量交互。这推动了基于模型的方法的发展，这些方法学习环境模型并将其用于规划，通常与TD更新相结合。像Dyna-Q这样的算法整合了基于模型和无模型的学习，使用TD更新来精炼价值函数和模型。这些混合方法旨在结合基于模型方法的样本效率与TD学习的简洁性。
未来方向
TD学习仍然是一个活跃的研究领域。近期工作侧重于改善TD方法在大规模环境中的稳定性和效率，例如涉及深度学习和大型语言模型的场景。研究人员正在探索将TD学习与其他范式相结合的方式，如元学习和多智能体系统。TD学习的原理也被应用于新领域，包括个性化推荐、医疗保健和金融建模，这些领域中的顺序决策至关重要。
随着人工智能的发展，TD学习在使智能体从经验中学习方面的核心作用依然突出。它能够在线、增量式地学习，且无需模型，使其成为构建自适应系统的通用工具。TD学习与现代计算技术的持续整合有望带来新的见解和应用，巩固其作为强化学习中基本概念的地位。
参见
- 机器学习
- 人工智能
- 神经网络
- 深度学习
- 卡内基梅隆大学
- 伯克利人工智能研究
- 麻省理工学院计算机科学与人工智能实验室
- 斯坦福人工智能实验室
- 谷歌DeepMind
- OpenAI
- Anthropic
- 施乐帕洛阿尔托研究中心
- 多伦多大学
- 牛津大学
- 亚马逊网络服务
- Azure
- 谷歌云
- 甲骨文云
- AWS Trainium
参考文献
- Sutton, R. S. (1988). Learning to Predict by the Methods of Temporal Differences. Machine Learning, 3(1), 9-44.
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press.
- Mnih, V., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.