优先经验回放是一种用于强化学习的技术，旨在提高从过往经验中学习的智能体的训练效率和稳定性。在标准经验回放中，智能体将过去的转换（状态、动作、奖励、下一状态）存储在记忆缓冲区中，并在训练期间均匀随机采样。优先经验回放则根据这些转换的“重要性”按比例进行采样，通常以时间差分（TD）误差的幅度来衡量，该误差表示转换的意外程度或信息量。通过聚焦于TD误差较大的转换，智能体能从稀有或关键经验中学习更多，从而加速收敛，并往往带来更好的最终性能。
该方法于2015年由Tom Schaul、John Quan、Ioannis Antonoglou和David Silver在Google DeepMind（当时为DeepMind Technologies）提出。它在论文《优先经验回放》中发表，并成为许多深度强化学习算法的标准组件，包括对原始深度Q网络（DQN）的改进。其核心思想解决了均匀采样的一个局限：回放缓冲区中的许多转换是冗余的或误差较小，均匀采样会浪费计算资源。通过优先化，算法将更多更新分配给可能产生最大学习信号的转换。
机制
该算法为每个转换分配一个优先级，通常定义为绝对TD误差，记为|δ|，其中对于Q学习，δ = r + γ·max_a' Q(s', a') - Q(s, a)。|δ|越高，表示当前价值估计与目标相差越远，表明该转换尚未充分学习或具有新颖性。为避免总是采样少数高误差转换，优先级通过随机规则转换为采样概率：P(i) = p_i^α / Σ_k p_k^α，其中p_i是优先级（通常为|δ| + ε，ε为一个小常数以确保非零概率），α控制优先化程度（α=0时均匀采样，α=1时完全优先化）。
由于优先化在期望更新中引入了偏差，该方法通过重要性采样权重进行校正：w_i = (1/N · 1/P(i))^β，其中N是缓冲区大小，β是一个超参数，在训练过程中从较低值（如0.4）退火到1。这些权重被乘入每个采样转换的损失函数中，确保期望更新保持无偏。在实践中，优先级存储在一个称为求和树的数据结构中（一种二叉树，每个节点存储其子节点优先级之和），从而允许在O(log N)时间内高效采样和更新。
变体与实现
存在两种常见变体：比例优先化和基于排名的优先化。在比例优先化中，优先级与|δ| + ε直接成比例，如上所述。在基于排名的优先化中，转换按|δ|排序，优先级定义为1/rank(i)，其中rank(i)是排序列表中的位置。基于排名的优先化对异常值更鲁棒，且无需存储精确误差幅度，但需要维护排序顺序，这可能更计算密集。两种变体在实践中均有使用，其中比例优先化因简单性而更常见。
优先经验回放已集成到许多强化学习框架和算法中。例如，它是Rainbow DQN智能体的关键组件，该智能体结合了DQN的六项改进，包括优先回放。它也用于演员-评论家方法，如SAC（软演员-评论家）和TD3（双延迟DDPG），其中回放缓冲区存储转换并类似地应用优先化。OpenAI Baselines和Stable Baselines3等库提供了实现，使其易于用于研究和应用。
优势与局限
主要优势是提高了样本效率：智能体通过与环境的更少交互即可学习，因为它们聚焦于最具信息量的经验。这在环境交互成本高昂的领域（如机器人或现实世界控制）中尤为宝贵。此外，优先化可以通过减少更新方差来稳定训练，因为高误差转换被更频繁地重访，从而平滑学习信号。
然而，也存在局限。该方法引入了额外的超参数（α、β和ε常数），需要调优。如果α过高，智能体可能过拟合到一小部分转换，导致不稳定。重要性采样校正至关重要；没有它，偏差可能导致发散。此外，TD误差是重要性的代理，但可能带有噪声，尤其是在训练早期，且可能并不总能捕捉对长期信用分配重要的转换。一些扩展使用替代优先级度量，如损失梯度的幅度或价值估计的不确定性，但这些较少见。
应用与影响
优先经验回放已应用于广泛的强化学习任务，从玩Atari游戏到机器人操作和自动驾驶。在原始论文中，作者证明带有优先回放的DQN在多个Atari 2600游戏上比均匀回放获得更高分数，且学习更快。它也用于多智能体设置，并与其他技术如课程学习和数据增强结合使用。
该技术影响了后续关于经验回放的研究，催生了针对目标任务的Hindsight经验回放（HER）和分布式优先回放等想法。它仍然是强化学习从业者工具包中的标准工具，其原理已适应到其他领域，如大型语言模型训练，其中高损失示例的优先化可以提高微调效率，尽管联系不那么直接。