人工知能におけるワールドモデルとは、エージェントが環境が時間とともにどのように変化するか、特に自身の行動に対する応答を含めて予測するために使用する内部表現であり、エージェントが実際の環境で行動して結果を観察することなく、計画を立て、結果を想像し、選択肢を評価することを可能にする。この用語は古典的な制御理論とモデルベースの強化学習にルーツを持ち、そこでは環境ダイナミクスのモデルが明示的に計画に使用されるが、近年では、生の感覚データ、特にビデオから予測的なワールドモデルを学習することが、テキストのみでの訓練よりも一般的で堅牢な知能への道となり得るという研究者の提案により、より広い意義を持つようになっている。
強化学習における起源
モデルベースの強化学習は、行動する前に将来の状態をシミュレートするために明示的または学習されたダイナミクスモデルを長い間使用しており、試行錯誤から直接ポリシーや価値関数を学習するモデルフリーのアプローチとは対照的である。2018年にDavid Haとユルゲン・シュミットフーバーによって発表され、単に「World Models」と題された広く引用される論文は、エージェントがビデオゲーム環境の圧縮された生成的モデルを学習し、その後、ほぼ完全にその学習されたシミュレーション内でポリシーを訓練できることを実証し、現代のAIの意味でこの用語を普及させ、予測的で自己モデル化するエージェントに関する初期の研究に基づいていた。
ビデオ予測と生成的ワールドモデル
新しい研究の流れは、大規模なビデオ予測自体を、手設計のシミュレーターなしで暗黙的にワールドモデルを学習する方法として扱う。2024年に導入されたGoogle DeepMindのGenieは、ラベルのないインターネットビデオのみから、基礎となるゲームエンジンの状態やアクションラベルにアクセスせずに、プレイ可能でインタラクティブな2D環境を生成することを学習し、アクション条件付きのワールドダイナミクスが受動的な観察から学習できることを実証した。Soraなどのビデオ生成システムも、開発者によって初期の汎用「ワールドシミュレーター」として説明されており、ビデオがどのように続くべきかを正確に予測するには、物理学、物体の永続性、因果関係の暗黙的なモデルが必要であるという議論に基づいているが、批評家は、そのようなモデルは基本的な物理的一貫性に頻繁に違反し、流暢なビデオ生成が必ずしも信頼性のある一般化可能な内部物理モデルを意味するわけではないと指摘している。
JEPAとLeCunの提案
ヤン・ルカンは、純粋に生成的なビデオモデルと標準的な自己回帰モデルの言語モデリングの両方に対する代替案として、Joint Embedding Predictive Architecture（JEPA）を提案している。JEPAスタイルのモデルは、生のピクセルやトークンを予測するのではなく、抽象的な学習された表現空間で将来の状態を予測する。ルカンは、このアプローチはより効率的で、テクスチャノイズなどの無関係な詳細を無視できる一方で、計画に必要な因果構造を捉えることができると主張している。ルカンは、このように構築されたワールドモデルを身体化されたAIと今日の大規模言語モデルシステムの能力を超える進歩のための中心的な欠けている要素として位置づけ、テキストベースの事前学習のスケーリングに主に賭ける研究所と直接対比させている。
意義
ワールドモデルは、ロボティクスやゲームプレイエージェントだけでなく、人工汎用知能に関するより広い問題にも関連するものとしてますます議論されている。なぜなら、環境の正確な内部モデルを持つエージェントは、原理的には長い期間にわたって計画を立て、即時の入力にのみ反応するものよりも効率的に新しい状況に一般化できるからである。2020年代半ばの時点で、ワールドモデル研究は活発で未解決の領域であり、そのどれだけを受動的なビデオから学習できるか、どれだけが身体化された相互作用を必要とするかについてかなりの意見の相違がある。