La generación de texto a video es la tarea de producir un clip de video, típicamente de unos pocos segundos de duración, a partir de un aviso en lenguaje natural. Extiende las técnicas de texto a imagen a la dimensión temporal, requiriendo que un modelo mantenga sujetos, iluminación y física consistentes entre fotogramas, en lugar de generar una sola imagen estática.
Historia
Los primeros sistemas de investigación en 2022, incluidos Make-A-Video de Meta e Imagen Video de Google, adaptaron técnicas de modelo de difusión de la generación de imágenes, pero produjeron clips cortos, de baja resolución y a menudo incoherentes. Los modelos Gen-1 y Gen-2 de Runway, lanzados en 2023, estuvieron entre las primeras herramientas comerciales ampliamente accesibles. El momento más publicitado del campo llegó con Sora de OpenAI en febrero de 2024, presentado como capaz de generar clips de un minuto de alta resolución y descrito por OpenAI como un paso hacia "simuladores de mundo" de propósito general, aunque no se lanzó ampliamente hasta más tarde. Veo de Google DeepMind siguió una trayectoria similar, con Veo 3 en 2025 añadiendo generación de audio sincronizado e integración en las herramientas creativas de YouTube. Los laboratorios chinos también se movieron rápidamente en este espacio: Kling de Kuaishou y Seedance de ByteDance encabezaron las tablas de clasificación independientes de generación de video durante 2025, reflejando un campo cada vez más global y competitivo.
Enfoque técnico
La mayoría de los sistemas de texto a video extienden un modelo de difusión latente con capas temporales que modelan el movimiento entre fotogramas, a veces combinadas con una arquitectura basada en transformador que opera sobre parches de espacio-tiempo en lugar de imágenes individuales, un enfoque que OpenAI describió para Sora. Generar un video coherente es sustancialmente más difícil que una sola imagen porque el modelo debe mantener la permanencia de los objetos, una física plausible y una iluminación consistente a lo largo del tiempo, y los errores tienden a acumularse entre fotogramas. Muchos sistemas también admiten la conversión de imagen a video, animando una imagen fija proporcionada por el usuario, y algunos permiten controlar el movimiento de la cámara o la extensión de un clip existente.
Aplicaciones y recepción
Las herramientas de texto a video se han adoptado para publicidad, previsualización, contenido en redes sociales y entretenimiento de formato corto, con algunos estudios experimentando con la tecnología para materiales de presentación o imágenes de fondo. La tecnología generó comparaciones con las disrupciones anteriores en la generación de texto a imagen y generación de música, incluidas objeciones de actores, cineastas y sindicatos sobre el uso de material con derechos de autor en los datos de entrenamiento y el posible desplazamiento de empleos en la producción; las huelgas de Hollywood de 2023 citaron las preocupaciones sobre actuaciones y semejanzas generadas por IA como un tema central. Las preocupaciones sobre el mal uso de Deepfake son especialmente agudas para el video, ya que un clip fabricado y realista de una persona real puede difundirse más rápido y ser más persuasivo que una imagen fija, lo que ha llevado a varias plataformas a exigir o explorar el marcado de agua con IA para video generado por IA.
Limitaciones
A partir de 2025, la mayoría de los sistemas disponibles públicamente siguen limitados a clips de unos pocos segundos hasta aproximadamente un minuto, con costos y cómputo que aumentan drásticamente con la resolución y la duración. El control fino sobre diálogos precisos, interacciones complejas entre múltiples personajes y la coherencia narrativa de largo alcance siguen siendo problemas abiertos, un área de competencia activa entre OpenAI, Google DeepMind, Runway y ByteDance (AI).