论文《Auto-Encoding Variational Bayes》由Diederik P. Kingma和Max Welling于2013年发表，引入了变分自编码器（VAE），这是一种人工神经网络架构，成为生成建模的基石。该工作弥合了深度学习与概率图模型之间的鸿沟，提供了一种通过潜在空间学习复杂数据分布的可扩展方法。它被认为是生成式人工智能的基础性贡献，并影响了机器学习和人工智能领域的后续发展。
变分自编码器由两个神经网络组成：编码器和解码器。编码器将每个输入数据点（如图像）映射到低维潜在空间中的概率分布，而非单个点。该分布通常是多元高斯分布，由均值向量和方差向量参数化。解码器执行逆映射，从潜在空间回到输入空间，同样遵循分布，尽管在实践中解码时很少添加噪声。通过将输入表示为分布，该模型避免了过拟合训练数据。两个网络使用重参数化技巧联合训练，该技巧允许通过随机采样进行基于梯度的优化。
背景与动机
在VAE之前，生成模型通常依赖期望最大化算法，如概率主成分分析或稀疏编码等方法。这些方法优化了数据似然的下界，但所需的变分后验通常针对每个数据点单独计算，导致计算成本高昂。Kingma和Welling提出了一种摊销推断方法，其中单个神经网络学习在所有数据点上输出变分参数。这种参数复用带来了显著的内存节省，并支持在大规模数据集上进行训练。编码器网络输出变分分布的参数，而解码器将潜在变量映射回输入空间，通常作为噪声分布的均值。
该模型通过优化包含两项的自由能表达式进行训练：重建误差和变分后验与先验之间的Kullback-Leibler散度（KL-D）。重建项衡量解码器从潜在样本重建输入的效果，而KL-D项鼓励潜在分布与先验（通常为标准高斯分布）对齐。这些项的具体形式取决于假定的噪声分布，例如连续数据（如ImageNet）使用高斯分布，二值数据（如二值化MNIST）使用伯努利分布。
公式化与训练
目标是最大化观测数据\(x\)在参数化分布\(p_\theta(x)\)下的似然，该分布通常选择为高斯分布。直接最大化该似然需要对潜在变量\(z\)进行边缘化，这导致难以处理的积分。VAE转而优化一个变分下界，即证据下界（ELBO），它在计算上是可处理的。ELBO通过引入由编码器网络参数化的近似后验\(q_\phi(z|x)\)推导得出，可以写成重建项与负KL-D之和。
训练通过随机梯度下降进行，使用重参数化技巧以可微的方式从潜在分布中采样。该技巧将样本\(z\)表示为\(\mu + \sigma \odot \epsilon\)，其中\(\epsilon\)从标准正态分布中抽取，允许梯度流过采样操作。噪声模型的方差可以单独学习或固定，具体取决于实现。这种方法不仅对无监督学习有效，也适用于半监督和监督任务，扩展了其适用性。
影响与遗产
VAE论文为深度生成模型确立了新的范式，区别于早期的自编码器和受限玻尔兹曼机等方法。它提供了一种具有概率保证的学习潜在表示的原则性方法，影响了计算机视觉、自然语言处理和药物发现等领域。该架构成为更高级模型（包括条件VAE和层次变体）的构建模块。其思想也为其他生成框架的发展提供了启示，如生成对抗网络和扩散模型，这些模型后来相继出现。
在深度学习的更广泛背景下，VAE展示了将神经网络与贝叶斯推断相结合的强大力量，这一主题在AI研究社区中引起了广泛共鸣。论文作者Kingma和Welling当时隶属于多伦多大学等机构，其工作在后来的文献中被广泛引用。VAE仍然是机器学习工具包中的标准工具，在研究生课程中讲授，并在从异常检测到数据压缩的工业应用中使用。
变体与扩展
后续研究引入了众多VAE变体，以解决原始模型的局限性。一个常见问题是KL-D项倾向于鼓励模式寻求行为，这可能导致生成样本的多样性较差。为缓解这一问题，研究人员用替代统计距离（如Wasserstein距离或最大均值差异）替换了KL-D，从而产生了Wasserstein自编码器等模型。其他扩展包括beta-VAE，它调整KL-D项的权重以鼓励解耦表示，以及向量量化VAE，它使用离散潜在空间进行高保真生成。
这些变体已应用于多个领域，包括神经网络研究、大语言模型开发和多模态学习。VAE学习平滑潜在空间的能力也使其在数据属性的插值和操作中非常有用，例如改变图像中人脸的姿态或表情。截至2020年代初，基于VAE的方法仍是活跃的研究领域，在提高训练稳定性和可扩展性方面持续开展工作。
结论
Kingma和Welling于2013年发表的VAE论文是机器学习领域的里程碑式贡献，引入了一种将神经网络与变分推断优雅结合的架构。其重参数化技巧和摊销推断框架使得深度生成模型的可扩展训练成为可能，为后续许多进展铺平了道路。VAE的影响在学术研究和实际应用中持续存在，巩固了其作为基础技术的地位。