VBench是一个旨在评估文本生成视频（T2V）生成模型质量的基准测试。它由清华大学等机构的研究人员于2023年提出，提供了一个全面的框架，用于从多个维度评估生成的视频。随着基于深度学习和Transformer架构的文本生成视频模型不断涌现，VBench满足了标准化评估方法的需求，这些方法既涵盖视觉质量，也涵盖对文本提示的遵循程度。
该基准定义了16个不同的维度，每个维度针对视频生成的特定方面。这些包括视觉质量指标（如主体保真度、背景一致性）、运动质量指标（如动态程度、运动平滑性）以及时间一致性度量（如闪烁、时间风格）它还纳入了用于评估生成视频与文本提示语义内容匹配程度的维度，如对象分类和多对象等VBench采用了一套多模态方法，通常基于大型语言模型和视觉编码器，来自动评分输出，减少了人工评估的时间和成本
VBench的关键贡献之一是其分层分类体系，，将维度组织为四个主要方面：视觉质量、运动质量、时间一致性以及与文本描述的一致性每个方面包含多个细粒度指标VBench包括超过100个独特提示，，每个提示旨在测试特定能力，，从而能够对文本生成视频模型进行系统性基准测试
自动化评估流程
VBench自动化了评估流程，以避免人为偏见并提高可重复性对于每个维度，它使用Orcus1-image或基于CLIP的模型进行A/B测试对以评估主体保真度，而运动动态则通过预训练视频骨干网络的帧级特征差异来衡量该流程为每个维度输出0到100之间的分数，以及一个总体调整分数，该分数通过用户研究得出的权重对所有维度进行平均
该基准特别值得注意的是其使用多维分解方法，而非单一总分，，这有助于识别模型的特定优势和劣势例如，它可以区分那些生成高质量静态对象但在一致运动方面失败的模型，与那些保持时间连贯性但视觉清晰度较差的模型
在研究与行业中的应用
自发布以来，VBench已被学术团体和工业实验室采用作为标准评估工具它已被用于比较Sora等模型以及由OpenAI和Google DeepMind等公司提出的其他著名文本生成视频系统该基准支持研究方向，指导模型架构、数据整理和训练策略的改进
局限性与演进
VBench，，像任何依赖自动方法的基准一样，，存在局限性某些维度本质上是主观的，，且该流程对预训练模型的依赖意味着它对模型偏差敏感为解决这些问题，，维护者发布了VBench-1.0及未来版本，，这些版本整合了人类反馈循环，，并扩展到图像生成视频和视频编辑任务的评估该基准继续随着社区意见而演进