向量量化变分自编码器（VQ-VAE）是一种AI模型，用于将数据压缩为离散的、有限的码本向量集合。与使用连续潜变量的标准变分自编码器（VAE）不同，VQ-VAE对潜空间进行量化，这使得它在需要离散表示的任务中尤为有效，例如图像生成、音频合成和视频预测。该模型由DeepMind的研究人员于2017年提出，此后成为许多生成式AI系统中的基础组件。
VQ-VAE的工作原理是：将输入编码为连续的潜向量，然后将该向量映射到学习到的码本中最近的条目。这个离散码随后被解码回原始数据空间。训练过程涉及三个损失项：重建损失、用于对齐码本条目与编码器输出的码本损失，以及用于防止编码器无限增长的承诺损失。这种架构使模型能够避免VAE中常见的“后验坍塌”问题，即潜变量变得无信息量。
架构与机制
VQ-VAE由编码器、解码器和码本组成。编码器将输入数据（例如图像或音频波形）处理为一系列潜向量。每个向量随后被替换为码本中最近的邻居，这一过程称为向量量化。解码器随后从这些量化向量重建输入。码本与编码器和解码器一起通过梯度下降进行学习，并使用直通估计器来处理不可微的量化步骤。
一个关键特性是使用指数移动平均（EMA）更新码本，这能稳定训练并提高码本利用率。这一方法在2017年由Aaron van den Oord、Oriol Vinyals和Koray Kavukcuoglu发表的论文《神经离散表示学习》中详细阐述，证明了VQ-VAE无需自回归先验即可学习有意义的离散表示。
在生成模型中的应用
VQ-VAE已被广泛应用于生成模型。最显著的应用是在图像和音频的生成式AI领域。例如，2019年提出的VQ-VAE-2采用分层多尺度方法，通过结合全局码本与局部细节来生成高分辨率图像（如1024x1024）。该模型在当时ImageNet数据集上取得了最先进的结果。
在音频方面，VQ-VAE已被用于语音合成和音乐生成。该模型的离散潜空间特别适合语音转文本等任务，其中可以学习类似音素的表示。此外，VQ-VAE是许多处理非文本模态的大语言模型的核心组件，例如VQ-GAN和DALL-E模型，它们使用VQ-VAE将图像转换为可由Transformer处理的离散标记。
与其他模型的关系
VQ-VAE与神经网络和深度学习技术密切相关。它们常被与生成对抗网络（GAN）和标准VAE进行比较。GAN能生成锐利图像，但可能遭遇模式坍塌；而VQ-VAE提供稳定的训练和结构化的潜空间。与假设连续高斯潜分布的标准VAE不同，VQ-VAE使用分类分布，这使其更兼容PixelCNN或Transformer等自回归模型。
VQ-VAE潜变量的离散性还支持无损压缩技术的使用，并促进了与需要符号或离散输入的机器学习流程的集成。这推动了多模态模型的发展，这些模型结合了图像、文本和音频数据。
近期发展与变体
自原始论文发表以来，已开发出多种VQ-VAE变体。VQ-VAE-2通过使用分层码本提高了图像质量。其他工作引入了残差VQ-VAE，使用多个码本来捕捉更精细的细节，以及向量量化Transformer（VQ-GAN），将VQ-VAE与Transformer结合用于自回归生成。这些模型已被OpenAI等公司应用于早期版本的DALL-E，以及DeepMind的音频生成模型中。
2023年，基于VQ-VAE的标记化器被引入视频领域，例如VideoPoet，展示了这些模型在高维数据上的可扩展性。该方法也被应用于AWS等云平台，用于高效的模型服务，因为离散表示减少了计算开销。
局限性与未来方向
尽管取得了成功，VQ-VAE仍面临挑战。码本大小需要精心选择：过小会导致重建质量差，过大则会导致码本利用率低下。训练可能不稳定，尤其是在使用大型码本时，不过EMA更新可以缓解这一问题。此外，离散瓶颈可能丢失细粒度细节，因此常采用分层或残差方法来解决。
未来的研究正在探索动态学习码本的方法，以及将VQ-VAE与基于Transformer的大语言模型集成，以实现统一的多模态理解。截至2024年，VQ-VAE仍是生成式AI工具包中的关键工具，其效率和保真度持续得到改进。