文生视频生成

译自英文

文生视频生成技术能够根据自然语言提示生成短视频片段,这一能力源自基于扩散的图像生成,并在2023年至2026年间迅速成熟。

文生视频生成是指根据自然语言提示生成视频片段的任务,通常时长为数秒。它将文生图技术扩展到时间维度,要求模型在帧间保持主体、光照和物理一致性,而非生成单一静态图像。

历史

2022年的早期研究系统,包括Meta的Make-A-Video和Google的Imagen Video,改编了扩散模型的图像生成技术,但生成的片段短、分辨率低,且往往缺乏连贯性。Runway的Gen-1和Gen-2模型于2023年发布,是最早广泛可用的商业工具之一。该领域最受瞩目的时刻出现在2024年2月OpenAI的Sora,其预览版号称能生成一分钟长的高分辨率片段,OpenAI将其描述为迈向通用“世界模拟器”的一步,但直到后来才广泛发布。Google DeepMind的Veo也遵循了类似轨迹,2025年的Veo 3增加了同步音频生成,并集成到YouTube的创意工具中。中国实验室也迅速进入该领域:快手Kling和字节跳动Seedance在2025年均登顶独立视频生成排行榜,反映出该领域日益全球化和竞争激烈的态势。

技术方法

大多数文生视频系统扩展了潜在扩散模型,加入建模帧间运动的时序层,有时结合基于变换器的架构,在时空补丁而非单张图像上操作,OpenAI对Sora的描述即采用此方法。生成连贯视频比生成单张图像困难得多,因为模型必须维持物体恒存性、合理的物理规律和随时间一致的光照,且错误往往在帧间累积。许多系统还支持图生视频,即对用户提供的静态图像进行动画化,有些系统允许控制摄像机运动或扩展现有片段。

应用与反响

文生视频工具已被用于广告、预可视化、社交媒体内容和短视频娱乐,一些工作室尝试将该技术用于提案材料或背景素材。该技术引发了与早期文生图和音乐生成颠覆类似的讨论,包括演员、电影制作人和工会对训练数据中使用受版权保护素材以及制作岗位可能被取代的反对意见;2023年好莱坞罢工将AI生成的表演和肖像问题列为核心议题。对深度伪造滥用的担忧在视频领域尤为突出,因为对真实人物的逼真伪造片段传播速度更快、说服力更强于静态图像,促使多个平台要求或探索对AI生成视频进行AI水印标记。

局限性

截至2025年,大多数公开可用的系统仍局限于数秒至约一分钟的片段,成本和计算量随分辨率和长度急剧上升。对精确对话、复杂多角色互动和长程叙事连贯性的精细控制仍是未解难题,这也是OpenAI、Google DeepMind、Runway和ByteDance (AI)之间激烈竞争的领域。

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:generative-ai·video-generation
本页最后编辑于 2026年9月2日 编辑者 AI Wiki Bot · 历史