Imagen Videoは、Google DeepMindによって開発されたテキストから動画を生成するシステムである。2022年10月に発表され、それ以前のImagenテキストから画像を生成するモデルのアーキテクチャを基盤として、その能力を自然言語プロンプトから短く高品質な動画クリップを生成するように拡張した。このモデルは生成的人工知能における重要な一歩であり、テキスト記述から直接、一貫性のある動き、物体の相互作用、様式的な変化を合成する能力を示している。
このシステムは、ビデオ拡散モデルのカスケードとして動作する。これは深層学習アーキテクチャの一種で、ノイズの多いビデオ信号を段階的にクリーンな出力へと洗練していく。このアプローチにより、Imagen Videoは1280x768ピクセルの解像度、毎秒24フレームのフレームレートで、最大約5秒間の動画を生成できる。このモデルは、大規模な動画とテキストのペアのデータセットで訓練され、複雑な時間的ダイナミクスと視覚的概念を学習することが可能となった。
アーキテクチャと訓練
Imagen Videoは、低解像度のビデオフレームを生成するベースのビデオ拡散モデルと、それに続く一連の空間的および時間的超解像モデルで出力をアップスケーリングする構造を採用している。ベースモデルは潜在空間で動作し、ビデオ変分オートエンコーダを使用して入力を圧縮する。超解像段階は、その後、空間的詳細と時間的一貫性を洗練し、最終的に高精細なビデオを生成する。
訓練には、公開ソースから収集された1400万の動画とテキストのペアと6000万の画像とテキストのペアのデータセットが使用された。モデルはGoogle Cloudの計算インフラを活用し、TPU（テンソル処理ユニット）のクラスターで訓練された。訓練プロセスでは、分類器フリーガイダンスと呼ばれる技術が使用され、生成された動画と入力テキストプロンプトとの間の整合性が向上した。
能力と特徴
Imagen Videoは、現実的なシーン、アニメーションシーケンス、芸術的な表現など、さまざまなスタイルの動画を生成できる。アクション、カメラの動き、物体の相互作用を指定するテキストプロンプトをサポートしている。このモデルは、アニメーションロゴやキャプションなど、動画内のテキストをレンダリングする能力も実証しており、「水彩」や「ピクセルアート」などの特定の芸術スタイルを適用することもできる。
注目すべき特徴の1つは、時間的一貫性の能力であり、フレーム間でオブジェクトとシーンが一貫性を保つことを保証する。このモデルは、複数のオブジェクトと複雑なシーンを持つ動画も生成できるが、非常に詳細なプロンプトや曖昧なプロンプトでは苦労する可能性がある。このシステムは発表時点では公開されておらず、Google DeepMindは安全性への懸念と悪用の可能性を理由に挙げた。
他のモデルとの比較
Imagen Videoは、MetaのMake-A-Videoなど、ほぼ同時期に発表された競合モデルと並んで、最初の注目すべきテキストから動画へのモデルの1つであった。OpenAIの後のSoraモデルがトランスフォーマーベースのアーキテクチャを使用するのとは異なり、Imagen Videoは拡散モデルのフレームワークに依存している。このアプローチの違いは、動画生成の分野における方法の多様性を浮き彫りにしている。
以前のテキストから画像へのモデルと比較すると、Imagen Videoは静的画像から動的シーケンスへの課題を拡張し、空間的特徴だけでなく時間的依存関係も学習することをモデルに要求する。これにより、モデルが複数のフレームを同時に処理する必要があるため、タスクは大幅に計算集約的になる。
制限と安全性
Google DeepMindは、Imagen Videoのいくつかの制限を認めている。このモデルは、特に複雑なシーンで、フリッカーや歪んだオブジェクトなどのアーティファクトを伴う動画を生成する可能性がある。また、珍しい概念や抽象的な概念を含むプロンプトを誤解する可能性もある。生成プロセスは計算コストが高く、かなりの処理能力を必要とするため、そのアクセシビリティが制限される。
これらの懸念から、モデルは公開されなかった。開発者は、透かし入れや悪用を防ぐためのコンテンツフィルタリングなど、そのような技術をリリースする前に慎重な評価と安全対策の必要性を強調した。この慎重なアプローチは、メディア生成における人工知能の倫理的影響に関する業界全体の議論を反映している。
影響と遺産
Imagen Videoは、テキストから動画への生成の急速な進歩に貢献し、その後のこの分野の研究開発に影響を与えた。そのアーキテクチャと訓練方法論は後のモデルで参照され、ビデオ品質とプロンプト忠実度のベンチマークを確立するのに役立った。この研究はまた、Google DeepMindおよび業界全体での機械学習研究へのさらなる投資を促進した。
商業製品ではなかったが、Imagen Videoはテキストから高品質な動画を生成する技術的実現可能性を実証し、Veoや他の動画生成ツールなどの将来のシステムへの道を開いた。安全性と責任ある展開へのその強調は、主要なAI研究組織がこのような強力なモデルをどのように扱うかについての先例を設定した。