Make-A-Video es un sistema de Generative AI desarrollado por Meta que produce clips de vídeo cortos a partir de descripciones de texto. Anunciado en septiembre de 2022, fue uno de los primeros modelos comerciales de texto a vídeo de gran calidad de una gran empresa tecnológica, tras los primeros trabajos en generación de texto a imagen. El sistema aprovecha los avances en Deep learning y arquitecturas de Neural network, particularmente los modelos de difusión, para sintetizar movimiento y escenas realistas a partir de indicaciones en lenguaje natural.
El modelo se basa en la investigación previa de Meta en generación de imágenes, notablemente el sistema Make-A-Scene, y lo extiende a la dimensión temporal. A diferencia de algunos enfoques anteriores de generación de vídeo que requerían datos de entrenamiento emparejados de texto y vídeo, Make-A-Video se entrenó principalmente con datos de vídeo no etiquetados y utilizó pares de imagen y texto para aprender la correspondencia entre el lenguaje y el contenido visual. Esto le permitió generar vídeos sin conjuntos de datos extensos de subtitulado de vídeo, una ventaja práctica significativa.
Arquitectura y Entrenamiento
Make-A-Video utiliza un proceso de tres etapas. Primero, un codificador de texto, basado en una arquitectura Transformer (architecture), convierte la indicación de entrada en una incrustación semántica. Segundo, un modelo de difusión genera una secuencia de fotogramas latentes, capturando tanto la composición espacial como la dinámica temporal. Tercero, un decodificador amplía estos latentes a fotogramas de vídeo de resolución completa. El proceso de entrenamiento implicó dos fases: un modelo espacial entrenado con pares de imagen y texto para comprender la apariencia y disposición de los objetos, y un modelo temporal entrenado con vídeo no etiquetado para aprender patrones de movimiento. Esta separación redujo la necesidad de conjuntos de datos de vídeo y texto costosos.
El modelo se entrenó con un gran corpus de imágenes y vídeos disponibles públicamente, aunque Meta no reveló los tamaños exactos de los conjuntos de datos. El sistema podía generar vídeos a resoluciones de hasta 768x768 píxeles y duraciones de aproximadamente cinco segundos, con velocidades de fotogramas de alrededor de 16 fotogramas por segundo. También admitía capacidades adicionales como generar variaciones de una imagen fuente, interpolar entre dos imágenes para crear una transición suave y animar una única imagen fija.
Capacidades y Limitaciones
Make-A-Video podía producir una amplia gama de escenas, desde animales y objetos hasta conceptos abstractos, con movimiento coherente y adherencia razonable a la indicación. Por ejemplo, una indicación como "un osito de peluche pintando un retrato" produciría un clip corto de un oso moviendo un pincel. Sin embargo, el modelo tenía limitaciones notables. Tenía dificultades con la física compleja, como reflejos precisos o interacciones realistas entre objetos, y a veces producía artefactos como formas que se transformaban o texturas parpadeantes. El renderizado de texto dentro de los vídeos también era deficiente, y el modelo no podía generar audio. Estos problemas eran comunes en los primeros sistemas de texto a vídeo.
La calidad de salida del modelo variaba con la especificidad de la indicación. Las indicaciones vagas a menudo producían movimiento genérico o repetitivo, mientras que las indicaciones detalladas mejoraban la fidelidad. Meta enfatizó que el sistema era una demostración de investigación, no un producto pulido, y nunca se lanzó como una API pública o un modelo de código abierto. En cambio, Meta publicó un artículo de investigación y una página de demostración con vídeos de muestra, lo que generó una atención mediática significativa.
Comparación con Contemporáneos
Make-A-Video surgió en un panorama competitivo. OpenAI había lanzado anteriormente DALL-E 2 para imágenes, y en 2022 también introdujo un modelo de vídeo llamado Imagen Video, aunque no se implementó públicamente. Google DeepMind había demostrado Phenaki, un modelo de texto a vídeo, y otros laboratorios como Alibaba Cloud y NVIDIA estaban explorando tecnología similar. Make-A-Video se destacó por su uso de entrenamiento con vídeo no etiquetado, lo que redujo los requisitos de datos, y por su calidad visual relativamente alta en ese momento. Sin embargo, no fue el primero; sistemas anteriores como CogVideo de la Universidad de Tsinghua y la empresa tecnológica china BAAI habían mostrado generación básica de texto a vídeo en 2021.
Un diferenciador clave fue el enfoque de Meta en salidas fáciles de usar y la integración de prioridades basadas en imágenes. El modelo podía tomar una sola imagen y animarla, una característica que impresionó a los revisores. En contraste, muchos competidores requerían múltiples fotogramas de entrada o indicaciones más largas. La compensación era que los vídeos de Make-A-Video eran cortos y carecían de control fino sobre los ángulos de cámara o las trayectorias de los objetos.
Recepción e Impacto
La cobertura mediática de Make-A-Video fue en gran medida positiva, con medios que elogiaron la capacidad del modelo para generar clips caprichosos y coherentes. Los comentaristas tecnológicos señalaron que indicaba un cambio en la investigación de Artificial intelligence de imágenes estáticas a contenido dinámico. El modelo también planteó preocupaciones éticas, particularmente en relación con el potencial de deepfakes y desinformación. Meta reconoció estos riesgos y declaró que no lanzaría el modelo públicamente hasta que se desarrollaran salvaguardas. La empresa también discutió herramientas de marcas de agua y procedencia del contenido, aunque estas no se implementaron para Make-A-Video en sí.
Dentro de la comunidad investigadora, Make-A-Video influyó en trabajos posteriores sobre modelos de difusión de vídeo. Su arquitectura inspiró sistemas posteriores como el propio Emu Video de Meta y proyectos de código abierto como el texto a vídeo de ModelScope. El artículo, titulado "Make-A-Video: Text-to-Video Generation without Text-Video Data", se presentó en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) de 2023 y ha sido ampliamente citado.
Legado y Direcciones Futuras
Make-A-Video fue un paso intermedio más que un producto final. Para 2023, Meta había avanzado hacia una investigación más sofisticada de generación de vídeo, incluido el modelo Emu Video, que mejoró la consistencia temporal y la resolución. El campo más amplio de generación de texto a vídeo avanzó rápidamente, con modelos como Gen-2 de Runway y Lumiere de Google DeepMind que ofrecían salidas más largas y realistas. El legado de Make-A-Video radica en demostrar que la generación de vídeo de alta calidad a partir de texto era factible sin conjuntos de datos emparejados masivos, y en popularizar el concepto entre investigadores y el público.
El modelo también contribuyó a los debates sobre la democratización de las herramientas creativas. Aunque no se lanzó, sus demostraciones públicas mostraron cómo la IA generativa podía reducir la barrera para la producción de vídeo. A partir de 2024, los modelos de texto a vídeo se han vuelto más accesibles, pero Make-A-Video sigue siendo un hito temprano notable en la evolución de la generación de medios basada en Machine learning.