優先度付き経験再生（Prioritized Experience Replay）は、強化学習において、過去の経験から学習するエージェントの訓練効率と安定性を向上させるために用いられる手法である。標準的な経験再生では、エージェントは過去の遷移（状態、行動、報酬、次の状態）をメモリバッファに保存し、訓練中にそれらを一様にランダムサンプリングする。優先度付き経験再生は、代わりにこれらの遷移を、その「重要度」に比例する確率でサンプリングする。重要度は通常、時間差（TD）誤差の大きさで測定され、これは遷移がどれほど驚くべきもの、または情報量が多いかを示す。TD誤差が大きい遷移に焦点を当てることで、エージェントは稀な、または重要な経験からより多く学習し、収束を加速させ、しばしば最終的な性能を向上させる。
この手法は、2015年にTom Schaul、John Quan、Ioannis Antonoglou、David SilverによってGoogle DeepMind（当時はDeepMind Technologies）で導入された。論文「Prioritized Experience Replay」で発表され、元のDeep Q-Network（DQN）への改良を含む、多くの深層強化学習アルゴリズムの標準的な構成要素となった。この中核的なアイデアは、一様サンプリングの限界に対処するものである。再生バッファ内の多くの遷移は冗長であるか、誤差が小さく、それらを均等にサンプリングすると計算リソースが無駄になる。優先度付けにより、アルゴリズムは最大の学習信号をもたらす可能性が高い遷移に、より多くの更新を割り当てる。
メカニズム
このアルゴリズムは、各遷移に優先度を割り当てる。通常は絶対TD誤差として定義され、|δ|と表記される。ここで、Q学習の場合、δ = r + γ·max_a' Q(s', a') - Q(s, a)である。|δ|が大きいほど、現在の価値推定が目標から遠いことを意味し、その遷移が未学習または新規であることを示す。常に同じ少数の高誤差遷移をサンプリングすることを避けるため、優先度は確率的ルールを用いてサンプリング確率に変換される。P(i) = p_i^α / Σ_k p_k^α。ここで、p_iは優先度（多くの場合|δ| + ε、εはゼロでない確率を保証するための小さな定数）であり、αは優先度付けの度合いを制御する（α=0は一様サンプリング、α=1は完全な優先度付けを与える）。
優先度付けは期待更新にバイアスを導入するため、この手法は重要度サンプリング重みを用いてこれを補正する。w_i = (1/N · 1/P(i))^β。ここで、Nはバッファサイズ、βは訓練中に低い値（例：0.4）から1へとアニーリングされるハイパーパラメータである。これらの重みは、サンプリングされた各遷移の損失関数に乗算され、期待更新が不偏のままであることを保証する。実際には、優先度はサムツリーと呼ばれるデータ構造（各ノードが子の優先度の合計を格納する二分木）に格納され、O(log N)時間での効率的なサンプリングと更新を可能にする。
変種と実装
一般的な変種が2つ存在する。比例優先度付けとランクベース優先度付けである。比例優先度付けでは、優先度は上記のように|δ| + εに直接比例する。ランクベース優先度付けでは、遷移は|δ|によってソートされ、優先度は1/rank(i)として定義される。ここで、rank(i)はソートされたリスト内の位置である。ランクベース優先度付けは外れ値に対してより頑健であり、正確な誤差の大きさを保存する必要がないが、ソートされた順序を維持する必要があり、計算コストが高くなる可能性がある。両方の変種が実際に使用されており、比例優先度付けが単純さゆえにより一般的である。
優先度付き経験再生は、多くの強化学習フレームワークやアルゴリズムに統合されている。例えば、DQNへの6つの改良を組み合わせたRainbow DQNエージェントの主要な構成要素であった。また、SAC（Soft Actor-Critic）やTD3（Twin Delayed DDPG）などのアクタークリティック法でも使用されており、再生バッファが遷移を格納し、優先度付けが同様に適用される。OpenAI BaselinesやStable Baselines3などのライブラリが実装を提供しており、研究や応用で利用しやすくなっている。
利点と限界
主な利点は、サンプル効率の向上である。エージェントは最も情報量の多い経験に焦点を当てるため、環境との相互作用が少なくて済む。これは、ロボット工学や実世界の制御など、環境との相互作用にコストがかかる領域で特に価値がある。さらに、優先度付けは、高誤差の遷移がより頻繁に再訪され、学習信号が平滑化されるため、更新の分散を減らし、訓練を安定化させることができる。
しかし、限界もある。この手法は、追加のハイパーパラメータ（α、β、およびε定数）を導入し、調整が必要である。αが高すぎると、エージェントは少数の遷移セットに過適合し、不安定性を引き起こす可能性がある。重要度サンプリング補正は重要であり、これがないとバイアスが発散を引き起こす可能性がある。また、TD誤差は重要度の代理指標であるが、特に訓練初期にはノイズが多く、長期的な信用割り当てに重要な遷移を常に捉えるとは限らない。いくつかの拡張では、損失勾配の大きさや価値推定の不確実性など、代替の優先度指標が使用されるが、これらはあまり一般的ではない。
応用と影響
優先度付き経験再生は、Atariゲームのプレイからロボット操作、自動運転まで、幅広い強化学習タスクに適用されている。元の論文では、著者らは優先度付き再生を備えたDQNが、一様再生と比較して、いくつかのAtari 2600ゲームでより高いスコアを達成し、学習が速いことを実証した。また、マルチエージェント設定や、カリキュラム学習やデータ拡張などの他の手法との組み合わせでも使用されている。
この手法は、その後の経験再生に関する研究に影響を与え、目標ベースタスクのためのHindsight Experience Replay（HER）や、分布型優先度付き再生などのアイデアにつながった。これは強化学習実践者のツールキットにおける標準的なツールであり続けており、その原理は大規模言語モデルの訓練など他の分野にも適応されている。そこでは、高損失の例の優先度付けがファインチューニング効率を向上させることができるが、関連性はより直接的ではない。
関連項目
- Deep Q-Network
- 時間差学習
- 強化学習
- 重要度サンプリング