VQGAN（向量量化生成对抗网络）是一类用于高分辨率图像合成的生成式神经网络架构。它将向量量化（VQ）的离散潜在表示学习与生成对抗网络（GAN）的感知质量提升相结合。VQGAN 由 Patrick Esser、Robin Rombach 和 Björn Ommer 于 2021 年在海德堡大学和 IWR 发表的论文中提出，后来成为文本到图像模型的基础组件，包括 Stable Diffusion 中使用的潜在扩散模型。
VQGAN 的核心思想是从训练图像中学习一个压缩的、离散的视觉特征码本。编码器将输入图像映射为该码本中的一系列索引，而解码器则从这些索引重建图像。GAN 判别器与编码器和解码器一同训练，以确保重建图像在感知上与真实图像难以区分，同时基于预训练网络（如 VGG）的感知损失进一步提高了保真度。这种方法使 VQGAN 能够生成 1024x1024 像素及更高分辨率的图像，而这在早期的 VQ-VAE 等模型中颇具挑战性。
架构与训练
VQGAN 架构由三个主要组件构成：编码器、解码器以及可学习向量的码本。编码器将输入图像下采样为潜在代码的空间网格，每个代码被量化到最近的码本条目。解码器将这些代码上采样回图像空间。训练过程最小化重建损失（L2）、感知损失以及承诺损失的组合，其中承诺损失鼓励编码器输出保持接近码本条目。GAN 判别器（通常为 PatchGAN）以对抗方式训练，用于区分真实图像与重建图像，从而推动解码器生成更清晰的细节。
一个关键的创新是使用Transformer模型来对量化后的代码序列进行建模。通过将离散代码视为标记，Transformer 能够学习全局依赖关系，并以自回归方式生成新颖图像，从而实现连贯的大尺度结构。这种混合方法、、卷积编码器/解码器与 Transformer 先验相结合、、使 VQGAN 能够同时捕捉局部纹理和全局上下文。
在潜在扩散中的应用
VQGAN 最具影响力的应用是通过其与潜在扩散模型的集成实现的。在 2022 年发表的论文《High-Resolution Image Synthesis with Latent Diffusion Models》中，Rombach 及其同事使用 VQGAN 风格的自动编码器将图像压缩到较低维度的潜在空间。扩散模型随后在这些潜在表示上运行，而非直接处理像素，从而大幅降低了计算成本，同时保持了图像质量。这一架构成为 Stable Diffusion 的基础，Stable Diffusion 是一个广泛使用的开源文本到图像系统。在这些模型中，VQGAN 组件通常被称为“VAE”（变分自动编码器），尽管它保留了向量量化的设计。
与其他生成模型的比较
与直接从噪声向量生成图像的 StyleGAN 等纯 GAN 不同，VQGAN 生成的是可操作和编辑的离散潜在表示。这一特性使其适用于图像修复、超分辨率和语义合成等任务。与 VQ-VAE 相比，VQGAN 增加了对抗损失和感知损失，显著提升了输出的锐度和真实感。然而，VQGAN 对码本和 Transformer 先验的依赖使其训练比更简单的自动编码器更为复杂且计算密集。
遗产与影响
VQGAN 影响了后续在深度学习和人工智能领域的研究，尤其是在生成建模方面。其离散潜在空间概念被多种多模态模型采用，并促进了包含视觉标记的大型语言模型的发展。其代码和预训练模型公开发布，推动了广泛的实验。截至 2025 年，VQGAN 仍是理解离散与连续潜在表示在图像生成中权衡的参考点，其原理继续为更广泛的机器学习社区中的新架构提供启示。
局限性
尽管 VQGAN 具有诸多优势，它也存在已知的局限性。码本的大小和维度需要仔细调整；码本过小会导致细节丢失，而过大则会增加内存使用。Transformer 先验的采样速度可能较慢，尤其是在高分辨率图像上。此外，该模型可能表现出伪影，例如均匀区域中的模糊或重复模式，尤其是在码本表达能力不足时。这些问题促使后来的方法转向连续潜在表示，正如某些扩散模型中所见。