Imagen Video是谷歌开发的一种文本到视频生成模型，于2022年10月首次宣布。它扩展了谷歌早期Imagen文本到图像系统的能力，能够根据自然语言描述生成简短、高保真的视频片段。该模型代表了Generative AI领域的重要一步，因为它将基于扩散的技术应用于视频的时间维度，而不仅仅是静态图像。
该公告将Imagen Video定位为研究演示而非消费产品，谷歌强调了其在创意应用方面的潜力，同时也承认了滥用风险。它由Google DeepMind团队开发，该团队当时隶属于Google Brain，在2023年4月与DeepMind合并之前。
技术架构
Imagen Video建立在原始Imagen图像模型中使用的级联扩散模型方法之上。该系统分多个阶段运行：一个基础视频扩散模型以每秒24帧的速度生成低分辨率视频，从64x64像素的帧大小开始。随后，一系列空间和时间上采样器将分辨率提高到1280x768像素。
该模型使用一个冻结的基于Transformer (architecture)的文本编码器（具体为T5）来解释输入提示。然后，该文本编码被输入到扩散过程中，该过程迭代地将随机噪声去噪为连贯的视频帧。与早期的一些视频生成尝试不同，Imagen Video不依赖Large language model来生成视频本身，而是仅使用语言模型进行文本理解。
关键创新包括使用时间超分辨率网络来确保帧之间的平滑运动，以及使用空间超分辨率网络来增加细节。该模型在包含1400万个视频-文本对的数据集上进行了训练，其中包括来自公共LAION-5B数据集和谷歌内部数据。
能力与局限性
Imagen Video可以生成最长5秒、每秒24帧的视频，涵盖多种风格，包括电影风格、3D动画和水彩画。它还可以在视频中生成文本，尽管其局限性类似于图像模型。该系统支持多种宽高比，包括16:9、9:16和1:1。
在演示中，该模型展示了动画化物体、创建简单叙事以及渲染复杂场景（如行走的泰迪熊或着陆的宇宙飞船）的能力。然而，它在较长序列、复杂物理和跨帧一致的角色身份方面存在困难。该模型在准确渲染人类手部和面部方面也存在困难，这是Deep learning生成模型中的一个常见问题。
谷歌指出，该模型可用于故事板、动画预可视化以及教育内容，但由于安全问题，它并未公开发布。该公司强调了生成误导性或有害内容（包括深度伪造和虚假信息）的风险。
与同期模型的比较
Imagen Video与同时代的其他文本到视频模型一同宣布，包括Meta的Make-A-Video，后者于2022年9月（早几周）公布。两个系统都使用了类似的基于扩散的方法，但Imagen Video强调了更高的分辨率和时间一致性。
与OpenAI的DALL-E或Stability AI的Stable Diffusion（专注于图像）不同，Imagen Video是首批大规模处理视频生成的模型之一。它也与后来的模型（如OpenAI于2024年发布的Sora）不同，因为它生成的片段更短、分辨率更低，但它为后续研究奠定了基础。
该模型的架构影响了后来的谷歌产品，包括Imagen 2和Imagen 3图像模型，它们采用了类似的级联扩散技术。Imagen Video本身并未商业化，但其技术为谷歌后来的视频生成工作（如2024年宣布的Veo）提供了信息。
反响与影响
对Imagen Video的初步反响是积极的，研究人员称赞了生成片段相对于先前工作的质量。技术记者指出，虽然视频很短且有时不完美，但它们展示了Machine learning在视频合成方面的快速进展。该模型被视为可以加速创意工作流程的概念验证。
然而，一些批评者指出，该模型需要大量的计算资源，使其对大多数研究人员来说难以访问。谷歌没有发布模型权重或API，限制了独立评估。这与Stable Diffusion等开源努力形成对比，后者允许更广泛的社区实验。
该公告还引发了关于文本到视频技术伦理影响的讨论。学者和政策制定者呼吁采取保障措施以防止滥用，导致谷歌决定将模型保持内部使用。这为后来的生成式视频模型开创了先例，这些模型通常面临类似的审查。
遗产
Imagen Video在2022年的发布标志着Artificial intelligence研究的一个里程碑，证明了扩散模型可以从图像扩展到视频。其级联架构和T5文本编码的使用成为后来系统的标准。该模型的局限性，特别是在时间连贯性和计算成本方面，指导了后续的研究方向。
到2025年，视频生成模型已取得显著进展，像Veo 3和Sora这样的系统能够生成长达一分钟、接近照片级真实感的片段。Imagen Video常被引为这些发展的早期先驱，展示了文本到视频合成的可行性，并强调了仍然存在的挑战。
谷歌继续开发Imagen系列，于2023年12月发布Imagen 2，2024年8月发布Imagen 3，2025年5月发布Imagen 4。虽然这些专注于图像，但2022年开创的视频能力已被整合到谷歌更广泛的生成式AI产品中，包括Google Cloud服务和Gemini助手。