VBench es un punto de referencia diseñado para evaluar la calidad de los modelos de generación de texto a video (T2V). Introducido en 2023 por investigadores de la Universidad de Tsinghua y otras instituciones, proporciona un marco integral para evaluar videos generados en múltiples dimensiones. A medida que los modelos de texto a video, como los construidos sobre aprendizaje profundo y arquitecturas de transformadores, se han proliferado, VBench aborda la necesidad de métodos de evaluación estandarizados que cubran tanto la calidad visual como la adherencia a las indicaciones de texto.
El punto de referencia define 16 dimensiones distintas, cada una dirigida a un aspecto específico de la generación de video. Estas incluyen métricas de calidad visual (por ejemplo, fidelidad del sujeto, consistencia del fondo), métricas de calidad de movimiento (por ejemplo, grado dinámico, suavidad del movimiento) y medidas de consistencia temporal (por ejemplo, parpadeo, estilo temporal). También incorpora dimensiones para evaluar qué tan bien el video generado coincide con el contenido semántico de su indicación de texto, como la clasificación de objetos y múltiples objetos. VBench emplea un conjunto de métodos multimodales, a menudo basados en grandes modelos de lenguaje y codificadores de visión, para puntuar automáticamente los resultados, reduciendo el tiempo y el costo de la evaluación manual.
Una de las contribuciones clave de VBench es su taxonomía jerárquica, que organiza las dimensiones en cuatro aspectos principales: calidad visual, calidad de movimiento, consistencia temporal y consistencia con la descripción de texto. Cada aspecto comprende múltiples métricas de grano fino. VBench incluye más de 100 indicaciones únicas, cada una diseñada para probar capacidades específicas, lo que permite una evaluación sistemática de los modelos de texto a video.
Pipeline de evaluación automatizada
VBench automatiza el pipeline de evaluación para evitar sesgos humanos y mejorar la reproducibilidad. Para cada dimensión, utiliza modelos basados en Orcus1-imagen o CLIP en pares de pruebas A/B para la fidelidad del sujeto, mientras que la dinámica del movimiento se mide utilizando diferencias de características por fotograma de un backbone de video preentrenado. El pipeline produce una puntuación de 0 a 100 para cada dimensión, y una puntuación general ajustada que promedia todas las dimensiones con pesos derivados de estudios de usuarios.
El punto de referencia es particularmente notable por su uso de una descomposición multidimensional, en lugar de una puntuación agregada única, lo que ayuda a identificar fortalezas y debilidades específicas de los modelos. Por ejemplo, puede distinguir entre modelos que producen objetos estáticos de alta calidad pero fallan en el movimiento consistente, frente a aquellos que mantienen la cohesión temporal pero con menor claridad visual.
Uso en investigación e industria
Desde su publicación, VBench ha sido adoptado por grupos académicos y laboratorios industriales como una herramienta de evaluación estándar. Se ha utilizado para comparar modelos como Sora y otros sistemas prominentes de texto a video presentados por empresas como OpenAI y Google DeepMind. El punto de referencia apoya direcciones de investigación, guiando mejoras en la arquitectura de modelos, la curación de datos y las estrategias de entrenamiento.
Limitaciones y evolución
VBench, como cualquier punto de referencia que depende de métodos automáticos, tiene limitaciones. Algunas dimensiones son inherentemente subjetivas, y la dependencia del pipeline en modelos preentrenados significa que es sensible a los sesgos de estos modelos. Para abordar estos problemas, los mantenedores lanzaron VBench-1.0 y versiones futuras que integran bucles de retroalimentación humana y se extienden a la evaluación de tareas de imagen a video y edición de video. El punto de referencia continúa evolucionando con la aportación de la comunidad.