VBench est un benchmark conçu pour évaluer la qualité des modèles de génération texte-vers-vidéo (T2V). Introduit en 2023 par des chercheurs de l’Université Tsinghua et d’autres institutions, il fournit un cadre complet pour évaluer les vidéos générées selon plusieurs dimensions. Alors que les modèles texte-vers-vidéo, tels que ceux reposant sur l’apprentissage profond et les architectures de transformeurs, se multiplient, VBench répond au besoin de méthodes d’évaluation standardisées couvrant à la fois la qualité visuelle et la conformité aux invites textuelles.
Le benchmark définit 16 dimensions distinctes, chacune ciblant un aspect spécifique de la génération vidéo. Cela inclut des métriques de qualité visuelle (par exemple, la fidélité du sujet, la cohérence de l’arrière-plan), des métriques de qualité de mouvement (par exemple, le degré de dynamisme, la fluidité du mouvement) et des mesures de cohérence temporelle (par exemple, le scintillement, le style temporel). Il intègre également des dimensions pour évaluer dans quelle mesure la vidéo générée correspond au contenu sémantique de l’invite textuelle, comme la classification des objets et la présence de multiples objets. VBench utilise un ensemble de méthodes multimodales, souvent basées sur les grands modèles de langage et les encodeurs visuels, pour noter automatiquement les sorties, réduisant ainsi le temps et le coût de l’évaluation manuelle.
L’une des contributions clés de VBench est sa taxonomie hiérarchique, qui organise les dimensions en quatre aspects principaux : la qualité visuelle, la qualité du mouvement, la cohérence temporelle et la conformité à la description textuelle. Chaque aspect comprend plusieurs métriques fines. VBench inclut plus de 100 invites uniques, chacune conçue pour tester des capacités spécifiques, permettant un benchmarking systématique des modèles texte-vers-vidéo.
Pipeline d’évaluation automatisé
VBench automatise le pipeline d’évaluation afin d’éviter les biais humains et d’améliorer la reproductibilité. Pour chaque dimension, il utilise des modèles basés sur Orcus1-image ou CLIP pour des tests par paires A/B concernant le sujet, tandis que la dynamique du mouvement est mesurée à l’aide de différences de caractéristiques entre les trames, issues d’un backbone vidéo pré-entraîné. Le pipeline attribue un score de 0 à 100 pour chaque dimension, ainsi qu’un score global ajusté qui moyenne toutes les dimensions avec des poids dérivés d’études utilisateurs.
Le benchmark est particulièrement remarquable pour son utilisation d’une décomposition multidimensionnelle, par opposition à un score agrégé unique, ce qui aide à identifier les forces et faiblesses spécifiques des modèles. Par exemple, il peut distinguer les modèles qui produisent des objets statiques de haute qualité mais échouent sur la cohérence du mouvement, de ceux qui maintiennent une cohésion temporelle mais avec une qualité visuelle moindre.
Utilisation dans la recherche et l’industrie
Depuis sa publication, VBench a été adopté par des groupes de recherche et des laboratoires industriels comme outil d’évaluation standard. Il a été utilisé pour comparer des modèles comme Sora et d’autres systèmes texte-vers-vidéo notables présentés par des entreprises telles que OpenAI et Google DeepMind. Le benchmark soutient les orientations de recherche, guidant les améliorations en matière d’architecture de modèles, de curation de données et de stratégies d’entraînement.
Limites et évolution
VBench, comme tout benchmark reposant sur des méthodes automatiques, présente des limites. Certaines dimensions sont intrinsèquement subjectives, et la dépendance du pipeline à des modèles pré-entraînés le rend sensible aux biais de ces modèles. Pour y remédier, les mainteneurs ont publié VBench-1.0 et des versions futures qui intègrent des boucles de rétroaction humaine et étendent l’évaluation aux tâches d’édition vidéo et de génération image-vers-vidéo. Le benchmark continue d’évoluer avec les contributions de la communauté.