E-VBench ist ein Benchmark zur Bewertung von KI-Systemen, die Videoinhalte generieren, und wurde speziell für die Bewertung von Ausgaben mit längerer Dauer entwickelt. Eingeführt im Jahr 2025, adressiert er Einschränkungen früherer Bewertungsrahmen, die sich auf kurze Clips, typischerweise unter fünf Sekunden, konzentrierten. E-VBench verlangt von Modellen, Videos mit einer Dauer von 10 bis 30 Sekunden zu produzieren, die mehrere Szenen und komplexe narrative Übergänge umfassen.
Der Benchmark wurde von einem Konsortium aus akademischen und industriellen Forschern entwickelt, wobei erste Ergebnisse Anfang 2025 veröffentlicht wurden. Er baut auf der Grundlage von VBench auf, einem weit verbreiteten Videogenerierungs-Benchmark aus dem Jahr 2023, erweitert jedoch die Bewertungskriterien um langfristige zeitliche Kohärenz und Konsistenz auf Story-Ebene. E-VBench umfasst 1.500 Prompt-Sets, die jeweils ein detailliertes Skript mit Szenenbeschreibungen, Charakteraktionen und Dialoghinweisen enthalten. Die Prompts erstrecken sich über 12 Kategorien, darunter filmisches Storytelling, Lehrinhalte und dynamische Sportsequenzen.
Bewertungsmetriken
E-VBench verwendet ein mehrdimensionales Bewertungssystem, das automatisierte Metriken mit menschlicher Bewertung kombiniert. Die primäre automatisierte Metrik ist der Extended Temporal Consistency Score (ETCS), der die Kohärenz zwischen Frames über Intervalle von mehr als 10 Sekunden misst. ETCS wird mithilfe eines vortrainierten Vision-Transformers berechnet, der Objektpersistenz und Bewegungskontinuität verfolgt. Eine sekundäre Metrik, der Narrative Alignment Index (NAI), bewertet, ob generierte Szenen der im Prompt-Skript festgelegten logischen Abfolge folgen. NAI verwendet ein großes Sprachmodell, um generierte Untertitel mit erwarteten Story-Beats zu vergleichen.
Menschliche Bewerter bewerten Ausgaben auf einer Skala von 1-5 anhand von vier Kriterien: visuelle Qualität, semantische Adhärenz, zeitliche Glätte und kreative Plausibilität. Die Inter-Annotator-Übereinstimmung, gemessen mit Cohens Kappa, beträgt durchschnittlich 0,78. Die endgültige Benchmark-Punktzahl ist ein gewichteter Verbundwert: 40% ETCS, 30% NAI und 30% menschliche Bewertungen.
Modellleistungsergebnisse
Erste E-VBench-Ergebnisse, veröffentlicht im März 2025, zeigten erhebliche Unterschiede zwischen führenden generativen KI-Systemen. Das Videogenerierungsmodell von OpenAI, das in internen Bewertungen berichtet wurde, erreichte einen ETCS von 0,82 und einen NAI von 0,74 und belegte insgesamt den ersten Platz. Das konkurrierende System von Google DeepMind erzielte 0,79 bei ETCS und 0,71 bei NAI. Ein Modell von Anthropic, noch in der Beta-Phase, erzielte niedrigere Werte von 0,65 bzw. 0,58, was auf Herausforderungen bei der erweiterten narrativen Kohärenz hinweist.
Open-Source-Modelle, wie solche, die auf der Stable Video Diffusion-Architektur basieren, lagen hinter kommerziellen Systemen zurück. Der beste Open-Source-Beitrag erreichte einen ETCS von 0,61 und einen NAI von 0,52. Diese Ergebnisse verdeutlichen eine Kluft zwischen proprietären und offenen Modellen, insbesondere bei der Handhabung von Multi-Szenen-Übergängen und der Aufrechterhaltung der Charakteridentität über längere Zeiträume.
Vergleich mit früheren Benchmarks
E-VBench unterscheidet sich in mehreren wesentlichen Aspekten von früheren Benchmarks wie VBench und dem neueren VideoGenBench. VBench, veröffentlicht im Jahr 2023, konzentrierte sich auf 2-4 Sekunden lange Clips und bewertete 16 Dimensionen, einschließlich Bewegungsqualität und Bildqualität. VideoGenBench, eingeführt Ende 2024, erweiterte auf 8-Sekunden-Clips, verlangte jedoch keine narrative Struktur. Die 10-30 Sekunden dauernde Dauer von E-VBench zwingt Modelle dazu, Konsistenz über Szenenschnitte, Beleuchtungsänderungen und zeitliche Sprünge hinweg aufrechtzuerhalten.
Ein weiterer Unterschied ist die Einbeziehung von Dialog und audiovisueller Synchronisation. E-VBench-Prompts enthalten gesprochene Zeilen, und generierte Videos werden mithilfe einer separaten audiovisuellen Konsistenzmetrik auf Lippensynchronisationsgenauigkeit bewertet. Dieses Merkmal fehlte in früheren Benchmarks, die nur visuelle Ausgaben bewerteten.
Einschränkungen und zukünftige Richtungen
Kritiker merken an, dass die Abhängigkeit von E-VBench von menschlicher Bewertung es teuer macht, in großem Maßstab durchzuführen. Jedes Prompt-Set erfordert etwa 15 Minuten menschlicher Überprüfung, und der vollständige Benchmark benötigt über 375 Stunden Annotatorzeit. Es laufen Bemühungen, automatisierte Stellvertreter für die menschlichen Bewertungen zu entwickeln, wobei Modelle mit Reinforcement Learning aus menschlichem Feedback (RLHF) als Richter verwendet werden.
Eine weitere Einschränkung ist der Fokus des Benchmarks auf englischsprachige Prompts, was die Ergebnisse zugunsten von Modellen verzerren könnte, die überwiegend mit englischen Daten trainiert wurden. Zukünftige Versionen planen, mehrsprachige Prompts in mindestens 10 Sprachen einzubeziehen, darunter Mandarin, Spanisch und Hindi. Das E-VBench-Team beabsichtigt auch, eine Teilmenge von 200 Prompt-Sets für schnelle Iterationen freizugeben, damit Forscher Modelle mit reduzierten Rechenkosten testen können.
Der Benchmark soll jährlich aktualisiert werden, wobei die nächste Version für Anfang 2026 geplant ist. Die Updates werden neue Prompt-Kategorien wie interaktives und benutzeradaptives Storytelling einbeziehen und die maximale Videodauer auf 60 Sekunden erweitern.
Einfluss auf das Feld
E-VBench hat die Entwicklungsprioritäten mehrerer KI-Forschungsgruppen beeinflusst. Unternehmen wie OpenAI und Google DeepMind haben den Benchmark in technischen Berichten zitiert und seine Metriken verwendet, um Verbesserungen in der zeitlichen Modellierung zu leiten. Akademische Labore, darunter Berkeley AI Research und Stanford AI Lab, haben E-VBench als Standardbewertungswerkzeug in ihren Videogenerierungsprojekten übernommen.
Der Benchmark hat auch neue Forschung zu speichererweiterten neuronalen Netzwerken angeregt, da Modelle Informationen über längere Sequenzen hinweg behalten müssen. Techniken wie Cross-Attention-Mechanismen und transformerbasierte zeitliche Encoder haben vielversprechende Ergebnisse bei der Verbesserung der ETCS-Werte gezeigt. Bis Ende 2025 beträgt der höchste gemeldete ETCS auf E-VBench 0,85, erreicht von einem Modell mit einer hybriden Faltungs- und Aufmerksamkeitsarchitektur.