La génération texte-vers-vidéo est la tâche consistant à produire un clip vidéo, généralement de quelques secondes, à partir d'une invite en langage naturel. Elle étend les techniques de texte-vers-image dans la dimension temporelle, exigeant d'un modèle qu'il maintienne la cohérence des sujets, de l'éclairage et de la physique à travers les images plutôt que de générer une seule image statique.
Historique
Les premiers systèmes de recherche en 2022, notamment Make-A-Video de Meta et Imagen Video de Google, ont adapté les techniques de modèle de diffusion issues de la génération d'images, mais produisaient des clips courts, en basse résolution et souvent incohérents. Les modèles Gen-1 et Gen-2 de Runway, publiés en 2023, ont été parmi les premiers outils commerciaux largement accessibles. Le moment le plus médiatisé du domaine est venu avec OpenAI et Sora en février 2024, présenté comme capable de générer des clips d'une minute en haute résolution et décrit par OpenAI comme une étape vers des « simulateurs de monde » à usage général, bien qu'il n'ait été largement diffusé que plus tard. Google DeepMind et Veo ont suivi une trajectoire similaire, avec Veo 3 en 2025 ajoutant la génération audio synchronisée et l'intégration dans les outils créatifs de YouTube. Les laboratoires chinois se sont également rapidement lancés dans ce domaine : Kling de Kuaishou et Seedance de ByteDance ont tous deux dominé les classements indépendants de génération vidéo en 2025, reflétant un domaine de plus en plus mondial et compétitif.
Approche technique
La plupart des systèmes texte-vers-vidéo étendent un modèle de diffusion latent avec des couches temporelles qui modélisent le mouvement à travers les images, parfois combinées à une architecture basée sur un transformeur opérant sur des patchs spatio-temporels plutôt que sur des images uniques, une approche qu'OpenAI a décrite pour Sora. Générer une vidéo cohérente est nettement plus difficile qu'une image unique, car le modèle doit maintenir la permanence des objets, une physique plausible et un éclairage constant dans le temps, et les erreurs ont tendance à s'accumuler entre les images. De nombreux systèmes prennent également en charge l'image-vers-vidéo, animant une image fixe fournie par l'utilisateur, et certains permettent de contrôler les mouvements de caméra ou l'extension d'un clip existant.
Applications et réception
Les outils texte-vers-vidéo ont été adoptés pour la publicité, la prévisualisation, le contenu des médias sociaux et le divertissement de courte durée, certains studios expérimentant la technologie pour des supports de présentation ou des images de fond. La technologie a suscité des comparaisons avec les perturbations antérieures dans la génération texte-vers-image et la génération musicale, notamment des objections de la part d'acteurs, de cinéastes et de syndicats concernant l'utilisation de séquences protégées par le droit d'auteur dans les données d'entraînement et le risque de déplacement d'emplois dans la production ; les grèves hollywoodiennes de 2023 ont cité les préoccupations concernant les performances et les ressemblances générées par l'IA comme une question centrale. Les inquiétudes concernant l'utilisation abusive des Deepfake sont particulièrement aiguës pour la vidéo, car un clip falsifié réaliste d'une personne réelle peut se propager plus rapidement et être plus persuasif qu'une image fixe, ce qui a incité plusieurs plateformes à exiger ou à explorer le filigrane IA pour les vidéos générées par l'IA.
Limites
En 2025, la plupart des systèmes disponibles publiquement restent limités à des clips de quelques secondes à environ une minute, avec des coûts et des besoins en calcul augmentant fortement avec la résolution et la durée. Le contrôle précis des dialogues, des interactions complexes entre plusieurs personnages et la cohérence narrative à long terme restent des problèmes ouverts, un domaine de concurrence active entre OpenAI, Google DeepMind, Runway et ByteDance (AI).