自编码器是一种人工神经网络，用于学习未标记数据的高效编码，是无监督学习的一种形式。它学习两个函数：一个编码函数，将输入数据转换为压缩表示；一个解码函数，从该表示重建原始数据。网络训练的目标是最小化输入与其重建之间的差异，从而学习一个捕捉数据基本结构的低维嵌入。这些嵌入常用于降维或作为其他机器学习算法的输入。
自编码器有许多变体，通过施加额外约束使学习到的表示更有用。正则化自编码器，如稀疏、去噪和收缩自编码器，在分类任务中有效，而变分自编码器可以生成与训练分布相似的新数据样本。应用包括人脸识别、异常检测、特征检测和学习词义。
数学原理
自编码器由两个集合正式定义：编码消息空间 \(\mathcal{Z}\) 和解码消息空间 \(\mathcal{X}\)，通常是欧几里得空间，其中 \(\mathcal{X} = \mathbb{R}^m\) 和 \(\mathcal{Z} = \mathbb{R}^n\)，且 \(m > n\)。它还包含两个参数化函数族：编码器族 \(E_\phi: \mathcal{X} \to \mathcal{Z}\) 和解码器族 \(D_\theta: \mathcal{Z} \to \mathcal{X}\)。对于输入 \(x\)，编码器产生潜在变量 \(z = E_\phi(x)\)，解码器输出重建 \(x' = D_\theta(z)\)。编码器和解码器通常是多层感知器；例如，单层编码器计算 \(\sigma(Wx + b)\)，其中 \(\sigma\) 是激活函数，\(W\) 是权重矩阵，\(b\) 是偏置向量。
训练自编码器需要一个由 \(\mathcal{X}\) 上的参考概率分布 \(\mu_{ref}\) 定义的任务和重建质量函数 \(d: \mathcal{X} \times \mathcal{X} \to [0, \infty]\)。损失函数是期望重建误差 \(L(\theta, \phi) = \mathbb{E}_{x \sim \mu_{ref}}[d(x, D_\theta(E_\phi(x)))]\)。目标是找到最小化该损失的参数 \(\theta\) 和 \(\phi\)，通常使用基于梯度的优化方法，如Adam或随机梯度下降变体。
变体和正则化
几种自编码器变体修改损失函数或架构以鼓励特定属性。稀疏自编码器对隐藏单元的激活添加惩罚，促进稀疏表示。去噪自编码器用噪声破坏输入，并训练网络重建干净的原始数据，使表示对噪声具有鲁棒性。收缩自编码器对编码器的雅可比矩阵添加惩罚，鼓励表示对小的输入变化不敏感。这些正则化形式常用于分类流程中的特征提取。
变分自编码器（VAE）采用概率方法，学习潜在变量的分布，并支持生成建模。VAE在生成式AI中具有影响力，并用于图像合成和药物发现等应用。
应用
自编码器应用于许多领域。在计算机视觉中，它们用于人脸识别和异常检测，其中重建误差突出异常模式。在自然语言处理中，它们帮助学习词嵌入和语义表示。它们还作为深度学习架构的构建块，如用于图像分割的U-Net，该架构使用类似于自编码器的编码器-解码器结构。
在工业中，自编码器用于欺诈检测、网络入侵检测和预测性维护。例如，AWS和Google Cloud提供结合基于自编码器的异常检测的机器学习服务。MIT CSAIL和斯坦福AI实验室等研究机构为推进自编码器理论和应用做出了贡献。
与其他模型的关系
自编码器与编码器-解码器模型以及Transformer中使用的序列到序列架构密切相关。虽然Transformer使用多头注意力和位置编码进行翻译等任务，但自编码器专注于无监督表示学习。一些现代大型语言模型在预训练中结合了类似自编码器的目标，如掩码语言建模，这可以视为对文本的去噪自编码器。
局限性和扩展
如果潜在空间太大，基本自编码器可以学习恒等函数，因此需要瓶颈层或正则化等约束。过拟合是一个问题，可通过Dropout和批归一化等技术解决。扩展包括堆叠自编码器（其中多层被贪婪训练）和模型剪枝以降低计算成本。研究继续致力于提高鲁棒性和可解释性，OpenAI和Google DeepMind等团队做出了贡献。