VBench는 텍스트-투-비디오(T2V) 생성 모델의 품질을 평가하기 위해 설계된 벤치마크이다. 2023년 칭화대학교와 다른 기관의 연구자들에 의해 소개되었으며, 생성된 비디오를 여러 차원에서 평가하는 포괄적인 프레임워크를 제공한다. 딥러닝과 트랜스포머 아키텍처를 기반으로 한 텍스트-투-비디오 모델이 확산됨에 따라, VBench는 시각적 품질과 텍스트 프롬프트 준수 모두를 다루는 표준화된 평가 방법의 필요성을 해결한다.
이 벤치마크는 16개의 고유한 차원을 정의하며, 각 차원은 비디오 생성의 특정 측면을 대상으로 한다. 여기에는 시각적 품질 지표(예: 주제 충실도, 배경 일관성), 모션 품질 지표(예: 역동성 정도, 모션 부드러움), 시간적 일관성 측정(예: 깜빡임, 시간적 스타일)이 포함된다. 또한 생성된 비디오가 텍스트 프롬프트의 의미적 내용과 얼마나 잘 일치하는지 평가하는 차원(예: 객체 분류, 다중 객체)도 통합한다. VBench는 대규모 언어 모델과 비전 인코더에 기반한 다중 모달 방법을 사용하여 출력을 자동으로 점수화하며, 수동 평가의 시간과 비용을 줄인다.
VBench의 주요 기여 중 하나는 계층적 분류 체계로, 차원을 시각적 품질, 모션 품질, 시간적 일관성, 텍스트 설명과의 일관성이라는 네 가지 주요 측면으로 구성한다. 각 측면은 여러 세분화된 지표를 포함한다. VBench는 특정 능력을 테스트하도록 설계된 100개 이상의 고유 프롬프트를 포함하여 텍스트-투-비디오 모델의 체계적인 벤치마킹을 가능하게 한다.
자동 평가 파이프라인
VBench는 인간의 편향을 피하고 재현성을 향상시키기 위해 평가 파이프라인을 자동화한다. 각 차원에 대해 주제 충실도는 Orcus1-image 또는 CLIP 기반 모델의 A/B 테스트 쌍을 사용하고, 모션 역학은 사전 훈련된 비디오 백본의 프레임별 특징 차이를 사용하여 측정된다. 파이프라인은 각 차원에 대해 0에서 100까지의 점수를 출력하며, 사용자 연구에서 파생된 가중치로 모든 차원을 평균한 전체 조정 점수도 제공한다.
이 벤치마크는 단일 종합 점수 대신 다차원 분해를 사용한다는 점에서 특히 주목할 만하며, 이는 모델의 특정 강점과 약점을 식별하는 데 도움이 된다. 예를 들어, 정적 객체는 높은 품질로 생성하지만 일관된 모션에는 실패하는 모델과 시간적 응집력은 유지하지만 시각적 선명도가 떨어지는 모델을 구분할 수 있다.
연구 및 산업에서의 사용
발표 이후 VBench는 학술 그룹과 산업 연구소에서 표준 평가 도구로 채택되었다. OpenAI 및 Google DeepMind와 같은 회사가 제시한 Sora 및 기타 주요 텍스트-투-비디오 시스템을 비교하는 데 사용되었다. 이 벤치마크는 연구 방향을 지원하며 모델 아키텍처, 데이터 큐레이션 및 훈련 전략의 개선을 안내한다.
한계와 진화
VBench는 자동 방법에 의존하는 다른 벤치마크와 마찬가지로 한계가 있다. 일부 차원은 본질적으로 주관적이며, 파이프라인이 사전 훈련된 모델에 의존하기 때문에 모델 편향에 민감하다. 이를 해결하기 위해 유지 관리자는 VBench-1.0 및 향후 버전을 출시하여 인간 피드백 루프를 통합하고 이미지-투-비디오 및 비디오 편집 작업 평가로 확장한다. 벤치마크는 커뮤니티의 의견에 따라 계속 진화하고 있다.