テキストからビデオを生成するタスクは、自然言語のプロンプトから、通常は数秒間のビデオクリップを生成することである。これはテキストから画像への生成技術を時間次元に拡張したもので、単一の静止画像を生成するのではなく、モデルがフレーム間で被写体、照明、物理法則の一貫性を保つことを要求する。
歴史
2022年の初期の研究システム（MetaのMake-A-VideoやGoogleのImagen Videoなど）は、画像生成からの拡散モデル技術を応用したが、短く低解像度で、しばしば一貫性のないクリップを生成した。2023年にリリースされたRunwayのGen-1およびGen-2モデルは、広く利用可能な最初の商用ツールの一つであった。この分野で最も注目された瞬間は、2024年2月のOpenAIによるSoraで、1分間の高解像度クリップを生成できるとプレビューされ、OpenAIによって汎用の「世界シミュレーター」への一歩と説明されたが、広く公開されたのはその後であった。Google DeepMindのVeoも同様の軌跡をたどり、2025年のVeo 3では同期した音声生成とYouTubeのクリエイティブツールへの統合が追加された。中国の研究室も急速にこの分野に参入した。KuaishouのKlingとByteDanceのSeedanceは、2025年中に独立したビデオ生成リーダーボードの上位を占め、ますますグローバルで競争の激しい分野を反映している。
技術的アプローチ
ほとんどのテキストからビデオへのシステムは、フレーム間の動きをモデル化する時間的層を持つ潜在拡散モデルを拡張し、場合によっては単一画像ではなく時空パッチを操作するTransformerベースのアーキテクチャと組み合わせる。これはOpenAIがSoraについて説明したアプローチである。一貫したビデオの生成は単一画像よりもはるかに困難である。なぜなら、モデルは物体の永続性、妥当な物理法則、時間経過にわたる一貫した照明を維持しなければならず、エラーはフレーム間で蓄積する傾向があるからである。多くのシステムは、ユーザーが提供した静止画像をアニメーション化する画像からビデオへの生成もサポートしており、一部ではカメラの動きの制御や既存のクリップの延長も可能である。
応用と評価
テキストからビデオへのツールは、広告、プリビジュアライゼーション、ソーシャルメディアコンテンツ、短編エンターテイメントに採用され、一部のスタジオはピッチ資料や背景映像にこの技術を実験的に使用している。この技術は、テキストから画像への生成や音楽生成における以前の混乱と比較され、俳優、映画製作者、労働組合からは、トレーニングデータにおける著作権付き映像の使用や制作関連の仕事の置き換えの可能性に対する異議が挙がった。2023年のハリウッドストライキでは、AI生成の演技と肖像に関する懸念が中心的な問題として挙げられた。ディープフェイクの悪用に関する懸念はビデオで特に深刻である。なぜなら、実在の人物のリアルな偽造クリップは静止画像よりも速く広がり、説得力を持つ可能性があるからである。これにより、複数のプラットフォームがAI生成ビデオに対するAIウォーターマークを要求または検討している。
限界
2025年時点で、公開されているほとんどのシステムは、数秒から約1分のクリップに制限されており、コストと計算量は解像度と長さに応じて急激に増加する。正確な対話、複雑な多キャラクターの相互作用、長期的な物語の一貫性に対する細かい制御は未解決の問題であり、OpenAI、Google DeepMind、Runway、ByteDance AIの間で活発な競争が行われている分野である。