Make-A-Video是由Meta开发的一种生成式人工智能系统，可将文本描述转换为短视频片段。该系统于2022年9月29日公布，是大型科技公司首批公开演示的文本到视频模型之一，建立在先前文本到图像生成的进展之上。该系统结合了深度学习和神经网络架构，可生成最长五秒、分辨率为768x768像素的视频，并可通过可选附加帧扩展片段长度。
此次发布将Meta置于快速扩展的生成式AI领域中，该领域在当年早些时候已在图像合成方面取得突破。与早期需要大型配对文本-视频数据集的视频生成尝试不同，Make-A-Video利用了现有的文本-图像训练数据和无监督视频素材，减少了对昂贵标注视频语料库的需求。这种方法使模型能够从无标签视频中学习运动模式，同时通过文本-图像对建立视觉语义基础。
技术架构
该系统由三个主要组件构成：文本到图像基础模型、时间解码器和帧插值网络。基于变换器架构的文本编码器将文本提示映射到潜在表示。图像生成模块（类似于Meta早期的Make-A-Scene模型）根据文本条件生成静态图像。随后，时间解码器将其扩展为一系列帧，学习预测合理的运动动态。最后，帧插值网络提高帧率以生成更平滑的视频输出。
Meta的研究人员使用包含1000万文本-图像对和500万无标签视频的数据集（来源于公共网络数据）训练该模型。训练过程分为两个阶段：首先在静态图像上预训练图像生成组件，然后在视频数据上微调时间层。这种分层训练方案相比端到端视频训练（通常需要大规模配对数据集）降低了计算成本。
能力与局限
Make-A-Video能够根据多样化的提示生成视频，例如“一只穿着超级英雄服装的狗”或“一只画肖像的泰迪熊”。它还支持图像到视频生成（用户提供静态图像，模型将其动画化）以及视频到视频编辑（改变现有片段风格或内容）。该系统能以每秒16帧的速度生成约五秒时长的视频，并可通过插值网络扩展至更长序列。
然而，该模型存在显著局限。它难以处理涉及多个对象的复杂场景，经常产生变形形状或物理不一致等伪影。视频中的文本渲染经常出现乱码，且系统无法生成音频。分辨率虽然在当时较高，但仍低于广播质量。Meta承认了这些不足，指出该技术是研究演示而非成熟产品。
更广泛的背景与反响
此次发布正值生成模型兴趣激增之际。2022年早些时候，OpenAI推出了用于文本到图像生成的DALL-E 2，Google DeepMind也展示了Imagen。Make-A-Video将这一范式扩展到时间领域，引起了研究人员和公众的关注。媒体报道既强调了其创造潜力，也指出了伦理风险，包括生成误导性或有害内容的可能性。
Meta并未立即向公众发布该模型，而是为部分用户提供了有限的网络演示。该公司表示，只有在实施安全措施（如过滤暴力、色情或其他不当内容的过滤器）后才会开放访问。这种谨慎的推出方式反映了当时行业的做法，因为各公司正在应对生成式AI的双重用途性质。
影响与遗产
Make-A-Video的发布推动了文本到视频生成的进一步研究。数月之内，包括阿里云在内的其他组织和各学术实验室也宣布了类似系统。其底层技术，特别是时间解码器和帧插值的使用，影响了后续模型，如Meta自家的Emu Video以及Runway的Gen-2等第三方系统。利用文本-图像数据减少视频标注成本的做法成为该领域的标准实践。
到2024年，文本到视频模型已显著进步，系统能够生成更长、更高分辨率且带音频的片段。Make-A-Video被认为是这一发展轨迹中的早期里程碑，证明了仅凭语言即可合成连贯运动的可行性。其架构和训练方法启发了一代后续工作，巩固了其在人工智能和创意工具历史中的地位。
安全与伦理考量
Meta的公告包含了对潜在滥用的讨论。公司强调其对负责任AI开发的承诺，指出该模型可能被用于制造虚假信息或未经同意的内容。为降低这些风险，Meta计划对生成的视频添加水印，并限制对底层模型的访问。公司还承诺持续研究合成媒体的检测方法，这一领域将随生成能力的发展而成长。
批评者指出，这些保障措施是反应性的而非预防性的，且生成式AI的快速发展速度超过了监管框架。这一争论在后续模型中愈演愈烈，但在2022年的公共讨论中已存在。因此，Make-A-Video不仅是一项技术成就，也是生成式AI带来的社会挑战的案例研究。