Die Text-zu-Video-Generierung ist die Aufgabe, einen Videoclip, typischerweise einige Sekunden lang, aus einer natürlichsprachlichen Eingabeaufforderung zu erzeugen. Sie erweitert Text-zu-Bild-Techniken um die Zeitdimension und erfordert, dass ein Modell Subjekte, Beleuchtung und Physik über Frames hinweg konsistent hält, anstatt nur ein einzelnes statisches Bild zu erzeugen.
Geschichte
Frühe Forschungssysteme im Jahr 2022, darunter Metas Make-A-Video und Googles Imagen Video, passten Diffusionsmodell-Techniken aus der Bildgenerierung an, produzierten jedoch kurze, niedrig aufgelöste und oft inkohärente Clips. Runways Gen-1- und Gen-2-Modelle, die 2023 veröffentlicht wurden, gehörten zu den ersten weit verbreiteten kommerziellen Werkzeugen. Der bekannteste Moment des Feldes kam mit OpenAIs Sora im Februar 2024, das als fähig angekündigt wurde, minutenlange, hochauflösende Clips zu erzeugen, und von OpenAI als Schritt in Richtung universeller „Weltsimulatoren“ beschrieben wurde, obwohl es erst später breit verfügbar wurde. Google DeepMinds Veo folgte einer ähnlichen Entwicklung, wobei Veo 3 im Jahr 2025 synchronisierte Audioerzeugung und Integration in YouTubes kreative Werkzeuge hinzufügte. Chinesische Labore drangen ebenfalls schnell in diesen Bereich vor: Kuaishous Kling und ByteDances Seedance führten beide im Jahr 2025 unabhängige Video-Generierungs-Ranglisten an, was ein zunehmend globales und wettbewerbsintensives Feld widerspiegelt.
Technischer Ansatz
Die meisten Text-zu-Video-Systeme erweitern ein latentes Diffusionsmodell um zeitliche Schichten, die Bewegung über Frames hinweg modellieren, manchmal kombiniert mit einer Transformer-basierten Architektur, die über Raum-Zeit-Patches statt über einzelne Bilder arbeitet - ein Ansatz, den OpenAI für Sora beschrieb. Die Erzeugung eines kohärenten Videos ist erheblich schwieriger als die eines einzelnen Bildes, da das Modell Objektpermanenz, plausible Physik und konsistente Beleuchtung über die Zeit aufrechterhalten muss, und Fehler neigen dazu, sich über Frames hinweg zu verstärken. Viele Systeme unterstützen auch Bild-zu-Video, indem sie ein vom Benutzer bereitgestelltes Standbild animieren, und einige ermöglichen die Kontrolle über Kamerabewegungen oder die Verlängerung eines bestehenden Clips.
Anwendungen und Rezeption
Text-zu-Video-Werkzeuge wurden für Werbung, Previsualisierung, Social-Media-Inhalte und Kurzunterhaltung übernommen, wobei einige Studios die Technologie für Pitch-Material oder Hintergrundaufnahmen erproben. Die Technologie zog Vergleiche mit früheren Umwälzungen in der Text-zu-Bild-Generierung und Musikgenerierung auf sich, einschließlich Einwänden von Schauspielern, Filmemachern und Gewerkschaften gegen die Verwendung urheberrechtlich geschützten Materials in Trainingsdaten und die potenzielle Verdrängung von Produktionsjobs; die Hollywood-Streiks 2023 nannten KI-generierte Leistungen und Ähnlichkeitsbedenken als zentrales Thema. Bedenken hinsichtlich des Missbrauchs von Deepfakes sind bei Videos besonders akut, da ein realistischer gefälschter Clip einer echten Person schneller verbreitet und überzeugender sein kann als ein Standbild, was mehrere Plattformen dazu veranlasste, KI-Wasserzeichen für KI-generierte Videos zu verlangen oder zu erkunden.
Einschränkungen
Stand 2025 bleiben die meisten öffentlich verfügbaren Systeme auf Clips von einigen Sekunden bis etwa einer Minute beschränkt, wobei Kosten und Rechenaufwand mit Auflösung und Länge stark skalieren. Feine Kontrolle über präzisen Dialog, komplexe Interaktionen mehrerer Charaktere und langfristige narrative Kohärenz blieben offene Probleme, ein Bereich aktiven Wettbewerbs zwischen OpenAI, Google DeepMind, Runway und ByteDance AI.