R2D2（Recurrent Replay Distributed Deep DQN）は、DeepMindの研究者によって開発された深層強化学習アルゴリズムである。これは2019年の論文「Recurrent Experience Replay in Distributed Reinforcement Learning」で紹介され、リカレントニューラルネットワークを深層Qネットワーク（DQN）フレームワーク内に適用する上での重要な進歩を表している。R2D2は、部分観測可能性と長期的依存関係を伴う強化学習の課題に対処するために設計されており、発表時点で一連の3Dおよび2DのAtariゲームにおいて最先端の性能を達成した。
R2D2は、分散強化学習における先行研究、特に共有リプレイバッファと複数のアクターを使用して多様な経験を収集するApe-X DQNアーキテクチャに基づいている。その主要な革新は、リカレントニューラルネットワーク、具体的には長短期記憶（LSTM）ユニットを、行動プロセスと学習プロセスの両方に組み込むことである。これにより、エージェントは時間的文脈を捉えることができる内部状態を維持でき、これは観測が履歴なしでは曖昧な環境において重要である。
コアアーキテクチャとリカレント経験リプレイ
R2D2の中心的な構成要素は、個々の遷移ではなく経験のシーケンスを保存するリカレントリプレイバッファの使用である。標準的なDQNでは、経験リプレイは通常、単一の（状態、行動、報酬、次の状態）タプルを保存する。R2D2は長さ80の短いシーケンスを保存し、各保存シーケンスには記録時点のLSTMの初期内部状態が含まれる。この設計により、ネットワークがリプレイデータから学習する際に、隠れ状態を時間的文脈に一致するように正しく初期化でき、切り詰められたシーケンスや順序が乱れたシーケンスで訓練することから生じる問題を回避できる。
このアルゴリズムは優先リプレイメカニズムを使用し、シーケンスは時間差誤差に基づいてサンプリングされる（Prioritized Experience Replayで導入された手法）。リカレント隠れ状態の確率性に対処するため、R2D2は「バーンイン」と呼ばれる技術を採用しており、シーケンスの一部（通常は40タイムステップ）が、残りのステップで実際の訓練損失を計算する前に隠れ状態をウォームアップするためだけに使用される。これにより、訓練の安定性と性能が向上する。
訓練と分散セットアップ
R2D2はApe-Xのアーキテクチャを基に、分散方式で訓練される。最大256の並列アクターが環境の別々のコピーと相互作用し、各アクターは独自のLSTMリカレント状態を備えている。これらのアクターは経験を生成し、中央リプレイバッファに送信する。別の学習者プロセスがこのバッファからバッチをサンプリングし、ネットワークの重みを更新する。この分離により、高いスループットと多様なデータ収集が可能になり、リカレントネットワークを効果的に訓練するために不可欠である。
元の実験では、R2D2はArcade Learning Environmentの57のAtari 2600ゲームと、3D迷路ナビゲーション環境であるDeepMind Labで訓練された。このアルゴリズムは、従来の手法と比較して大幅なサンプル効率の向上を示し、大多数のゲームで人間レベルの性能以上に達した。特に、R2D2はほぼすべてのゲームで以前のApe-X DQNを上回り、探索が難しいことで知られるMontezuma's Revengeを含むいくつかのゲームで新記録を樹立した。
他の手法との比較
R2D2は、2010年代後半にリカレントアーキテクチャと分散訓練を組み合わせるという広範なトレンドの一部であった。これは、他のアルゴリズム、例えばRecurrent Replay Distributed DQNの前身であるN-step double DQNや、後のR2D3（優先リプレイと3D環境を備えたRecurrent Replay Distributed DQN）と類似点を共有しており、後者は人間のデモンストレーションを組み込んで探索をさらに改善した。これらの中で、R2D2はRainbow DQN拡張やMuZeroのようなより高度なエージェントの開発を含む、その後の設計に影響を与えた基礎的な研究としてしばしば引用される。
このアルゴリズムの成功は、特に部分観測可能なタスクにおける強化学習におけるメモリの重要性を強調した。フィードフォワードネットワークが現在のフレームのみを見るのに対し、R2D2のリカレント層は時間的パターンからオブジェクトの速度や画面外の刺激の存在などの隠れたダイナミクスを推測できる。
実装と影響
R2D2の論文は、Steven Kapturowski、Georg Ostrovski、John Quan、Remi Munos、Will Dabneyによって執筆され、2019年にInternational Conference on Learning Representations（ICLR）で発表された。コードベースは当初オープンソース化されなかったが、そのアイデアは学術界および産業界で広く採用された。後に、リカレント経験リプレイの概念は深層強化学習の標準的なツールとなり、さまざまな後継アルゴリズムやフレームワークに登場した。
R2D2の影響は、強化学習研究のより広い分野にも及び、ベースラインとして一般的に使用されている。分散アクター、優先シーケンス、リカレントダイナミクスの組み合わせは、ロボティクスや自律システムを含む多くの現代のエージェントで再現されている。このアルゴリズムの設計原則は、トランスフォーマーベースのメモリモデルに関する研究にも情報を提供しているが、LSTMのようなリカレントアプローチは多くのリアルタイムアプリケーションで計算効率が高いままである。
制限と今後の方向性
その強みにもかかわらず、R2D2には固有の制限がある。LSTMユニットの使用は追加のパラメータと訓練の複雑さを導入し、単純なタスクではフィードフォワードの代替と比較して学習を遅くする可能性がある。分散セットアップはまた、かなりの計算リソースを要求し、歴史的にその適用を資金豊富な研究環境に限定していた。しかし、ハードウェアの能力が向上するにつれて、これらの制約はそれほど制限的ではなくなった。
その後の研究は、価値ベースの行動選択、改善された探索戦略、生成モデルとの統合などの修正を加えてR2D2を基に構築されている。R2D2の遺産は、複雑な環境で堅牢な性能を達成するためにメモリと再帰が重要であることを実証したことであり、この原則はゲームプレイから大規模アプリケーションでの逐次意思決定に至るまでの分野で現代の強化学習システムを形成し続けている。
要約すると、R2D2は深層強化学習における画期的なアルゴリズムであり、リカレントリプレイ設計、分散訓練効率、強力な実証結果で知られている。部分観測可能性の処理への貢献により、その後の研究の参照点となっている。