VBenchは、テキストから動画を生成する（T2V）生成モデルの品質を評価するために設計されたベンチマークである。2023年に清華大学などの研究者らによって発表され、生成された動画を複数の側面にわたって評価するための包括的なフレームワークを提供する。深層学習やTransformerアーキテクチャに基づくテキストから動画へのモデルが普及するにつれて、VBenchは、視覚品質とテキストプロンプトへの忠実度の両方をカバーする標準化された評価方法の必要性に応えるものである。
このベンチマークは、動画生成の特定の側面をそれぞれ対象とした16の異なる次元を定義している。これには、視覚品質の指標（例：被写体の忠実度、背景の一貫性）、動きの品質の指標（例：ダイナミック度、動きの滑らかさ）、および時間的一貫性の尺度（例：フリッカー、時間的スタイル）が含まれる。また、生成された動画がテキストプロンプトの意味内容とどの程度一致しているかを評価するための次元（オブジェクト分類や複数オブジェクトなど）も組み込まれている。VBenchは、大規模言語モデルや視覚エンコーダーに基づくことが多いマルチモーダル手法のセットを採用し、出力を自動的にスコアリングすることで、手動評価の時間とコストを削減する。
VBenchの主要な貢献の1つは、その階層的分類法であり、次元を視覚品質、動きの品質、時間的一貫性、テキスト記述との一貫性という4つの主要な側面に整理している。各側面は、複数の詳細な指標で構成されている。VBenchには、特定の能力をテストするために設計された100以上の独自のプロンプトが含まれており、テキストから動画へのモデルの体系的なベンチマーキングを可能にしている。
自動評価パイプライン
VBenchは、人間のバイアスを回避し、再現性を向上させるために評価パイプラインを自動化している。各次元について、被写体の忠実度にはOrcus1-imageまたはCLIPベースのモデルを使用したA/Bテストペアを用い、動きのダイナミクスは、事前学習済みの動画バックボーンからのフレーム単位の特徴差分を用いて測定される。パイプラインは、各次元について0から100までのスコアを出力し、ユーザースタディから導出された重みで全次元を平均化した全体的な調整スコアも出力する。
このベンチマークは、単一の総合スコアではなく多次元的な分解を使用している点で特に注目に値し、モデルの具体的な長所と短所を特定するのに役立つ。例えば、高品質の静的オブジェクトを生成するが一貫した動きには失敗するモデルと、時間的凝集性を維持するが視覚的明瞭性に劣るモデルとを区別することができる。
研究および産業界での利用
発表以来、VBenchは、学術グループや産業研究所によって標準的な評価ツールとして採用されている。これは、OpenAIやGoogle DeepMindなどの企業が発表したSoraやその他の著名なテキストから動画へのシステムなどのモデルを比較するために使用されてきた。このベンチマークは、モデルアーキテクチャ、データキュレーション、トレーニング戦略の改善を導く研究の方向性を支援している。
限界と進化
自動手法に依存する他のベンチマークと同様に、VBenchには限界がある。いくつかの次元は本質的に主観的であり、パイプラインが事前学習済みモデルに依存しているため、モデルのバイアスに影響されやすい。これに対処するため、メンテナーはVBench-1.0および将来のバージョンをリリースし、人間のフィードバックループを統合し、画像から動画への変換や動画編集タスクの評価にまで拡張している。このベンチマークは、コミュニティの意見を取り入れながら進化し続けている。