AudioLDM是一种文本到音频的生成模型，能够根据自然语言描述生成声音片段。该模型于2025年由其开发团队通过社交媒体帖子宣布，并附有一篇上传至arXiv的技术论文。开发人员表示，计划开源发布模型权重和推理代码，但宣布时未提供具体日期。
该模型建立在生成式人工智能和深度学习的进展之上，特别利用了在图像生成中已取得成功的潜在扩散架构。与早期依赖自回归或基于GAN的文本到音频系统不同，AudioLDM在压缩的潜在空间中运行，从而降低了训练和推理过程中的计算需求。宣布的版本据称使用基于transformer的文本编码器处理输入提示，将其转换为音频解码器的条件信号。
架构与训练
AudioLDM的架构由三个主要组件组成：文本编码器、潜在扩散主干和用于波形合成的声码器。文本编码器基于Transformer架构，将输入文本映射为嵌入序列。扩散主干以U-Net变体实现，在条件嵌入的引导下迭代去噪潜在表示。最后阶段使用神经声码器将去噪后的潜在表示转换为原始音频波形。
模型的训练数据包括大量配对的音频-文本样本，据称来自AudioCaps和Clotho等公共数据集，并辅以自动生成标题的网络抓取音频。开发人员在初始公告中未披露确切的训练小时数或精确的参数数量，但表示该模型在128块GPU的集群上训练了约两周。
能力与基准测试
在arXiv论文中，作者报告了在AudioCaps和Clotho基准上的定量结果。AudioLDM在AudioCaps上的弗雷歇音频距离（FAD）达到2.31，在Clotho上达到3.02，在这两项指标上均优于AudioGen和Tango等先前最先进的模型。该模型在KL散度得分（衡量文本-音频对齐的指标）上也表现出竞争力，在AudioCaps上得分为1.47。
定性评估表明，AudioLDM能够生成多种声音，包括环境噪声、乐器、动物叫声和人类语音效果。该模型支持基于时长、响度和立体声宽度等属性的条件生成，但这些功能在初始版本中未完全记录。
与其他模型的比较
AudioLDM是机器学习中向多模态生成系统发展的更广泛趋势的一部分。与专注于音乐并使用分层VQ-VAE的OpenAI的Jukebox不同，AudioLDM处理通用音频并采用更简单的潜在扩散方法。与在离散标记空间中运行的Google的AudioLM相比，AudioLDM生成连续潜在表示，可能提供更快的推理速度。开发人员指出，AudioLDM在单个NVIDIA V100 GPU上的推理速度约为实时速度的3.5倍，比先前基于扩散的音频模型有显著改进。
开源计划与反响
该公告在人工智能社区引起了相当大的关注，尤其是在从事音频生成研究的研究人员中。计划中的开源发布被视为迈向可复现性的一步，因为许多商业文本到音频系统仍然封闭。开发人员表示，代码将以Apache 2.0许可证发布，模型权重最初可用于非商业研究用途，但这一政策可能会改变。
社交媒体和开发者论坛上的早期社区反馈称赞了模型的音频质量和论文方法的清晰度。一些研究人员指出，公告时缺乏演示页面是一个限制，但团队承诺在代码发布时同时提供交互式演示。
局限性与未来工作
论文承认了若干局限性。AudioLDM在处理涉及多个同时声源的提示时有时会产生伪影，例如“繁忙街道上的狗叫声”。该模型在处理罕见或抽象概念时也存在困难，并且对于超过20个标记的提示，其性能会下降。作者建议未来通过对比学习改进文本-音频对齐，并扩展模型以支持超过当前10秒最大时长的更长音频片段。
截至公告发布时，尚未分配官方版本号，论文中仅将该模型称为“AudioLDM”。开发人员计划在开源仓库中发布包含微调脚本和额外评估工具的更新版本。