Make-A-Video est un système de IA générative développé par Meta qui produit de courts clips vidéo à partir de descriptions textuelles. Annoncé en septembre 2022, il a été parmi les premiers modèles commerciaux majeurs de texte-vers-vidéo issus d'une grande entreprise technologique, faisant suite à des travaux antérieurs sur la génération d'images à partir de texte. Le système exploite les avancées en apprentissage profond et en architectures de réseaux neuronaux, en particulier les modèles de diffusion, pour synthétiser un mouvement et des scènes réalistes à partir de prompts en langage naturel.
Le modèle s'appuie sur les recherches antérieures de Meta en génération d'images, notamment le système Make-A-Scene, et l'étend à la dimension temporelle. Contrairement à certaines approches antérieures de génération vidéo qui exigeaient des données d'entraînement appariées texte-vidéo, Make-A-Video a été entraîné principalement sur des données vidéo non étiquetées et a utilisé des paires image-texte pour apprendre la correspondance entre le langage et le contenu visuel. Cela lui a permis de générer des vidéos sans ensembles de données de sous-titrage vidéo étendus, un avantage pratique significatif.
Architecture et entraînement
Make-A-Video utilise un pipeline en trois étapes. D'abord, un encodeur de texte, basé sur une architecture transformeur, convertit le prompt d'entrée en un embedding sémantique. Ensuite, un modèle de diffusion génère une séquence de trames latentes, capturant à la fois la composition spatiale et la dynamique temporelle. Enfin, un décodeur agrandit ces latentes en trames vidéo en pleine résolution. Le processus d'entraînement a impliqué deux phases : un modèle spatial entraîné sur des paires image-texte pour comprendre l'apparence et la disposition des objets, et un modèle temporel entraîné sur des vidéos non étiquetées pour apprendre les schémas de mouvement. Ce découplage a réduit le besoin d'ensembles de données vidéo-texte coûteux.
Le modèle a été entraîné sur un vaste corpus d'images et de vidéos publiquement disponibles, bien que Meta n'ait pas divulgué les tailles exactes des ensembles de données. Le système pouvait générer des vidéos à des résolutions allant jusqu'à 768x768 pixels et des durées d'environ cinq secondes, avec des fréquences d'images d'environ 16 images par seconde. Il prenait également en charge des capacités supplémentaires telles que la génération de variations d'une image source, l'interpolation entre deux images pour créer une transition fluide, et l'animation d'une image fixe unique.
Capacités et limites
Make-A-Video pouvait produire une large gamme de scènes, des animaux et objets aux concepts abstraits, avec un mouvement cohérent et une adhérence raisonnable au prompt. Par exemple, un prompt comme « un ours en peluche peignant un portrait » produirait un court clip d'un ours déplaçant un pinceau. Cependant, le modèle présentait des limites notables. Il avait du mal avec la physique complexe, comme les reflets précis ou les interactions réalistes entre objets, et produisait parfois des artefacts tels que des formes qui se déforment ou des textures scintillantes. Le rendu du texte dans les vidéos était également médiocre, et le modèle ne pouvait pas générer d'audio. Ces problèmes étaient courants dans les premiers systèmes de texte-vers-vidéo.
La qualité de sortie du modèle variait selon la spécificité du prompt. Les prompts vagues produisaient souvent des mouvements génériques ou répétitifs, tandis que des prompts détaillés amélioraient la fidélité. Meta a souligné que le système était une démonstration de recherche, pas un produit fini, et il n'a jamais été publié en tant qu'API publique ou modèle open-source. Au lieu de cela, Meta a publié un article de recherche et une page de démonstration avec des vidéos d'exemple, ce qui a généré une attention médiatique significative.
Comparaison avec les contemporains
Make-A-Video a émergé dans un paysage concurrentiel. OpenAI avait précédemment publié DALL-E 2 pour les images, et en 2022 a également introduit un modèle vidéo appelé Imagen Video, bien qu'il n'ait pas été déployé publiquement. Google DeepMind avait démontré Phenaki, un modèle de texte-vers-vidéo, et d'autres laboratoires comme Alibaba Cloud et NVIDIA exploraient une technologie similaire. Make-A-Video se distinguait par son utilisation de l'entraînement vidéo non étiqueté, ce qui réduisait les exigences en données, et par sa qualité visuelle relativement élevée à l'époque. Cependant, il n'était pas le premier ; des systèmes antérieurs comme CogVideo de l'Université Tsinghua et de la société technologique chinoise BAAI avaient montré une génération de base de texte-vers-vidéo en 2021.
Un différenciateur clé était l'accent mis par Meta sur des sorties conviviales et l'intégration de priorités basées sur l'image. Le modèle pouvait prendre une image unique et l'animer, une fonctionnalité qui a impressionné les critiques. En revanche, de nombreux concurrents exigeaient plusieurs trames d'entrée ou des prompts plus longs. Le compromis était que les vidéos de Make-A-Video étaient courtes et manquaient de contrôle fin sur les angles de caméra ou les trajectoires d'objets.
Réception et impact
La couverture médiatique de Make-A-Video a été largement positive, les médias louant la capacité du modèle à générer des clips fantaisistes et cohérents. Les commentateurs technologiques ont noté qu'il signalait un changement dans la recherche en intelligence artificielle, passant des images statiques au contenu dynamique. Le modèle a également soulevé des préoccupations éthiques, notamment concernant le potentiel de deepfakes et de désinformation. Meta a reconnu ces risques et a déclaré qu'il ne publierait pas le modèle publiquement tant que des garde-fous ne seraient pas développés. L'entreprise a également discuté d'outils de filigrane et de provenance du contenu, bien que ceux-ci n'aient pas été mis en œuvre pour Make-A-Video lui-même.
Au sein de la communauté de recherche, Make-A-Video a influencé les travaux ultérieurs sur les modèles de diffusion vidéo. Son architecture a inspiré des systèmes ultérieurs tels que Emu Video de Meta lui-même et des projets open-source comme le texte-vers-vidéo de ModelScope. L'article, intitulé « Make-A-Video: Text-to-Video Generation without Text-Video Data », a été présenté à la Conférence internationale sur les représentations d'apprentissage (ICLR) 2023 et a été largement cité.
Héritage et orientations futures
Make-A-Video a été une étape plutôt qu'un produit final. D'ici 2023, Meta était passé à des recherches plus avancées sur la génération vidéo, y compris le modèle Emu Video, qui améliorait la cohérence temporelle et la résolution. Le domaine plus large de la génération texte-vers-vidéo a progressé rapidement, avec des modèles comme Gen-2 de Runway et Lumiere de Google DeepMind offrant des sorties plus longues et plus réalistes. L'héritage de Make-A-Video réside dans la démonstration que la génération vidéo de haute qualité à partir de texte était réalisable sans ensembles de données appariés massifs, et dans la popularisation du concept auprès des chercheurs et du public.
Le modèle a également contribué aux discussions sur la démocratisation des outils créatifs. Bien qu'il n'ait pas été publié, ses démos publiques ont montré comment l'IA générative pouvait abaisser la barrière à la production vidéo. En 2024, les modèles de texte-vers-vidéo sont devenus plus accessibles, mais Make-A-Video reste une étape précoce notable dans l'évolution de la génération médiatique basée sur le apprentissage automatique.