WaveGlow是一种基于流的生成模型，用于语音合成，由NVIDIA的研究人员开发，并于2018年10月推出。它通过一系列可逆变换将语音的梅尔频谱图表示转换为原始音频波形，从而能够并行生成高质量的声音输出。与WaveNet等早期自回归模型不同，WaveGlow不按顺序生成样本，这显著缩短了合成时间，同时保持了相当的保真度。
该模型由NVIDIA的音频和深度学习团队合作设计，主要贡献者包括Xin Wang、Sercan Arik等研究人员。其架构结合了Glow（一种用于图像的基于流的生成模型）和WaveNet的扩张卷积元素，形成了一个单一的神经网络，在配对的音频和频谱图数据上进行端到端训练。原始实现以BSD-3-clause许可证发布，使其在学术和商业用途中广泛可用。
架构与训练
WaveGlow采用12个耦合层的堆叠，每个耦合层包含一系列可逆的1x1卷积和仿射变换。网络输入梅尔频谱图和随机高斯噪声，然后通过这些层变换噪声以生成波形。这些变换被设计为可逆的，从而允许对音频样本进行直接的最大似然训练。
训练使用未压缩的音频片段数据集，下采样至22.05 kHz，频谱图使用1024点短时傅里叶变换计算。损失函数结合了输出的对数似然和频谱对比度约束，以减少伪影。通常使用批量大小为24的序列，每个序列长度为16,000个样本。该模型约有8790万个参数，在单个NVIDIA V100 GPU上可在50毫秒内合成1.5秒音频，比实时速度快150倍。
网络的可逆性允许相同的参数用于合成和分析，尽管主要应用是文本到语音。与Generative AI模型（如GAN）不同，基于流的方法保证了数据似然的精确可计算性，使训练稳定。
与先前工作的关系
WaveGlow改进了Neural network音频模型，如WaveNet和Deep Voice，这些模型以每秒子样本的速率自回归生成波形。WaveNet是Google DeepMind的早期模型，能产生高保真语音，但需要第二个模型进行实时推理。WaveGlow通过并行生成所有样本消除了这一瓶颈。
独立于NVIDIA，微软在2018年提出了Flow，它使用类似的想法，但从去噪的角度进行优化。WaveGlow的关键区别在于其改进了变分性和可逆性，导致更简单、更稳定的训练。
应用与部署
WaveGlow被集成到NVIDIA的对话式AI工具包NeMo中，并用于基于Tacotron的文本到语音系统，将梅尔频谱图转换为音频。该模型的速度支持交互式应用，如虚拟助手和有声读物创作，无需专用硬件加速。截至2020年，它已成为神经声码器的标准基线，与后来的方法（如HiFi-GAN）进行了许多比较。
在云环境中，AWS Trainium和其他加速器后来优化了此类模型的推理。然而，该模型的内存占用（约24 MB）仍然较小，使其在嵌入式设备上部署可行。
遗产与影响
WaveGlow的发布促进了音频中基于流的生成模型的类似研究，包括并行声码器，如Parallel WaveNet和Gravity。其设计原则，即可逆性的集成，被后续架构（如SqueezeWave和基于sanity的模型）所采用。虽然后来的GPU声码器（如MelGAN和WaveGAN）以更低的计算成本实现了相当的质量，但WaveGlow在打破自回归瓶颈方面仍是一个历史里程碑。
截至2025年，原始仓库已归档到研究档案中，被更高效的模型所取代。然而，其对特征技术的贡献仍指导着新的工作。
技术细节
对于输入梅尔频谱图S和零均值高斯噪声z，WaveGlow计算输出x = f(z, S)，其中f是可逆函数的组合。模型输出维度为（n_samples，1）的波形。每一步，网络应用归一化（增益缩放）、可逆卷积和仿射耦合层，该层将输入分成两部分，并用神经网络（不可逆）更新一部分，而保持另一部分不变。最终结果以22.05 kHz采样。
训练使用256个片段，每个片段长1.6秒，共200个epoch。学习率从5e-4开始，每40个epoch减半。应用权重归一化和层归一化，如原始论文所述。目标频谱图使用汉宁窗和50%重叠从音频计算。
批评与改进空间
尽管速度快，WaveGlow也面临一些批评：其输出可能对非英语语言或嘈杂输入产生伪影。相比之下，基于GAN的声码器通常以更少的参数生成感知上更干净的音频。可逆性要求不适用于具有不同采样率的数据集。后续研究表明，使用更大的Transformer (architecture)编码器可以提高保真度，但这并非原始模型的一部分。
尽管如此，WaveGlow因其易于训练、鲁棒性和透明的基于似然的理解而被广泛采用，这巩固了其在当前Deep learning领域中神经声码器演变中的作用。