Dreamerは、モデルベース強化学習アルゴリズムのファミリーであり、Google DeepMindで開発され、画像入力から直接複雑な行動を高いサンプル効率で学習することで知られている。核心的なアイデアは、エージェントが過去の経験から環境のダイナミクスを反映したコンパクトな潜在空間ワールドモデルを学習し、その潜在表現内で完全に未来状態の「想像上の」ロールアウトを行い、ポリシーと価値関数を訓練することである。このアプローチは、広範な実世界インタラクションを必要とするモデルフリー手法とは対照的であり、Dreamerはよりサンプル効率の高い人工エージェントへの重要なステップとなっている。
最初のバージョンであるDreamerは、2020年にDanijar Hafner、Timothy Lillicrap、Jimmy Ba、Mohammad Norouziによる論文で紹介された。これは、潜在想像のパラダイムを確立し、エージェントが再帰状態空間モデル（RSSM）を学習して観測と行動を確率的潜在状態にエンコードする。ポリシーは、想像上の潜在軌跡を通じて価値勾配を逆伝播することで更新される。DeepMind Control SuiteとAtariゲームのベンチマークタスクにおいて、DreamerはDQNやD4PGなどのモデルフリーアルゴリズムと同等以上の性能を達成しつつ、環境インタラクションを大幅に削減した。
アルゴリズムの進化
2021年に発表されたDreamerV2は、ワールドモデルにカテゴリ分布を持つ離散潜在変数を導入することでアーキテクチャを改良した。この変更は、KLバランシングやフリービットなどの技術とともに、モデルが多峰性ダイナミクスを捉える能力を向上させた。DreamerV2は、単一のハイパーパラメータセットで55のAtariゲームすべてをマスターした最初のエージェントとなり、人間レベルのスコアを上回り、そのベンチマークにおけるサンプル効率的RLの新たな最先端を確立した。
2023年にリリースされたDreamerV3は、移動、操作、ビデオゲームからの150の多様なタスクで、タスク固有のチューニングなしに強力な性能を達成することで、広範な汎用性を示した。その安定した手法には、正規化予測、symlog損失スケーリング、ロバストな価値推定のためのベースライン正規化が含まれる。DreamerV3は特に、生のピクセルと行動からMinecraftでダイヤモンドを収集した最初のエージェントとなり、長期的な計画とスパースな報酬を必要とするタスクで、アルゴリズムの実用的ロバスト性を強調した。
中核コンポーネント
Dreamerファミリーは、3つの学習コンポーネントに依存している。第一に、ワールドモデル - 潜在ダイナミクスを学習するRSSMであり、高次元の観測（ピクセルなど）をコンパクトな潜在ベクトルにエンコードし、行動に応じて後続の潜在状態を予測し、観測と報酬を再構成する。第二に、批評家（価値ネットワーク）は任意の潜在状態から期待される割引リターンを推定する。第三に、アクター（ポリシーネットワーク）は現在の潜在状態に基づいて行動を出力する。訓練中、エージェントはワールドモデルを使用して初期潜在状態から最大多数のタイムステップを想像し、批評家を使用してリターンを評価し、アクターを最大化するように訓練する。多くの場合、ストレートスルー推定による勾配を使用する。
影響と応用
Dreamerの潜在想像アプローチは、モデルベースRLにおける多くの後続研究を刺激し、学習モデルを使用するが異なる表現を持つMuZeroなどのアルゴリズムや、他の潜在空間プランナーを含む。そのサンプル効率は、実インタラクションが高コストであるロボティクスや制御にとって魅力的である。研究者は、ヒューマノイドによるロボット把持や自動運転シミュレーションなどの実世界タスクにDreamerの変種を適用している。コードはオープンソース化されており、産業界と学界での広範な採用を可能にし、研究における強化学習のベースラインとして頻繁に使用されている。
モデルフリー手法との比較
Deep Q-Networksやポリシー勾配などのモデルフリーアルゴリズムは、ダイナミクス構造を無視するため、タスクをマスターするために数百万のステップを必要とする。Dreamerは学習モデルを活用して仮想経験を生成し、移動やナビゲーションなどのタスクで同様の性能に対して最大10〜100倍少ない実環境インタラクションを実現する。しかし、モデルベース手法はワールドモデルにおける複合的な予測誤差に悩まされる可能性があり、Dreamerは短い想像ホライズンと確率的潜在状態を使用してこれを軽減する。非常に高次元の観測や非定常ダイナミクスでは、モデルフリー手法が依然として好まれる場合がある。
より広い文脈
Dreamerは、Artificial intelligenceにおける自己教師あり学習とワールドモデルへのより大きなトレンドの一部であり、Generative AIやモデルベース計画にも影響を与えている。これは、意思決定のメカニズムとしての精神的シミュレーションと想像に関する認知科学のアイデアと結びついている。大規模言語モデルの台頭に伴い、Dreamerスタイルのワールドモデルをトランスフォーマーアーキテクチャと統合して、テキストと物理環境の両方について推論できるエージェントを構築する研究が進行中である。このアルゴリズムのオープンソースエコシステムと再現可能な結果は、現代のAI研究における基礎的な参照となっている。
将来の方向性
進行中の研究には、Dreamerをマルチエージェント設定に拡張すること、階層的な行動空間と組み合わせること、ポイントクラウド入力などの高次元観測を持つ連続制御へのスケーラビリティを改善することが含まれる。研究者はまた、オープンワールド環境でのロバスト性を向上させるために、ワールドモデル内の不確実性定量化を探求している。計算リソースが成長するにつれて、Dreamerスタイルの潜在想像は、限られたデータで長期的なホライズンにわたって計画する必要があるエージェントの中核コンポーネントになると期待されている。