VBench é um benchmark projetado para avaliar a qualidade de modelos de geração de texto para vídeo (T2V). Introduzido em 2023 por pesquisadores da Universidade Tsinghua e outras instituições, ele fornece uma estrutura abrangente para avaliar vídeos gerados em múltiplas dimensões. À medida que modelos de texto para vídeo, como aqueles construídos sobre aprendizado profundo e arquiteturas transformer, proliferaram, o VBench atende à necessidade de métodos de avaliação padronizados que cubram tanto a qualidade visual quanto a aderência ao texto.
O benchmark define 16 dimensões distintas, cada uma visando um aspecto específico da geração de vídeo. Isso inclui métricas de qualidade visual (ex.: fidelidade do sujeito, consistência do fundo), métricas de qualidade de movimento (ex.: grau de dinamismo, suavidade do movimento) e medidas de consistência temporal (ex.: flicker, estilo temporal). Ele também incorpora dimensões para avaliar quão bem o vídeo gerado corresponde ao conteúdo semântico do prompt de texto, como classificação de objetos e múltiplos objetos. O VBench emprega um conjunto de métodos multimodais, frequentemente baseados em modelos de linguagem de grande porte e codificadores de visão, para pontuar automaticamente as saídas, reduzindo o tempo e o custo da avaliação manual.
Uma das principais contribuições do VBench é sua taxonomia hierárquica, que organiza as dimensões em quatro aspectos principais: qualidade visual, qualidade de movimento, consistência temporal e consistência com a descrição textual. Cada aspecto compreende múltiplas métricas de granularidade fina. O VBench inclui mais de 100 prompts únicos, cada um projetado para testar capacidades específicas, permitindo o benchmarking sistemático de modelos de texto para vídeo.
Pipeline de Avaliação Automatizada
O VBench automatiza o pipeline de avaliação para evitar vieses humanos e melhorar a reprodutibilidade. Para cada dimensão, ele usa modelos baseados em Orcus1-image ou CLIP para pares de teste A/B para fidelidade do sujeito, enquanto a dinâmica do movimento é medida usando diferenças de características quadro a quadro a partir de um backbone de vídeo pré-treinado. O pipeline gera uma pontuação de 0 a 100 para cada dimensão e uma pontuação geral ajustada que calcula a média de todas as dimensões com pesos derivados de estudos com usuários.
O benchmark é particularmente notável por seu uso de uma decomposição multidimensional, em oposição a uma pontuação agregada única, o que ajuda a identificar pontos fortes e fracos específicos dos modelos. Por exemplo, ele pode distinguir entre modelos que produzem objetos estáticos de alta qualidade, mas falham em movimento consistente, versus aqueles que mantêm coesão temporal, mas com clareza visual inferior.
Uso na Pesquisa e na Indústria
Desde sua publicação, o VBench foi adotado por grupos acadêmicos e laboratórios industriais como uma ferramenta padrão de avaliação. Ele tem sido usado para comparar modelos como o Sora e outros sistemas proeminentes de texto para vídeo apresentados por empresas como OpenAI e Google DeepMind. O benchmark apoia direções de pesquisa, orientando melhorias na arquitetura de modelos, curadoria de dados e estratégias de treinamento.
Limitações e Evolução
O VBench, como qualquer benchmark que depende de métodos automáticos, tem limitações. Algumas dimensões são inerentemente subjetivas, e a dependência do pipeline em modelos pré-treinados significa que ele é sensível a vieses desses modelos. Para abordar essas questões, os mantenedores lançaram o VBench-1.0 e versões futuras que integram loops de feedback humano e estendem a avaliação para tarefas de imagem para vídeo e edição de vídeo. O benchmark continua a evoluir com a contribuição da comunidade.