自蒸馏是知识蒸馏的一种形式，其中单个神经网络同时充当教师和学生。与传统的蒸馏不同，传统蒸馏中较大的或更复杂的模型指导较小的模型，而自蒸馏对两者使用相同的架构。模型在训练数据上生成软预测（概率分布），这些预测被用作额外的训练目标，与真实标签一起使用。这个过程可以迭代进行或以多代的方式进行，每一代模型都从前一代模型的输出中学习。该技术已被证明可以提高模型的准确性、校准性和鲁棒性，而无需外部教师模型或额外的标注数据。
这一概念源于更广泛的知识蒸馏领域，该领域在2010年代中期得到普及。在标准蒸馏中，高容量的教师网络生成软标签，较小的学生网络模仿这些标签，从而传递关于类别相似性和不确定性的知识。自蒸馏通过让模型蒸馏自身的知识，消除了对单独教师模型的需求。这尤其具有吸引力，因为它避免了训练更大教师的计算成本，并消除了教师-学生设置中常见的架构限制。研究人员发现，即使是单个模型，在使用自身软目标进行训练时也能获得性能提升，这一现象引发了大量的理论和实证研究。
机制与训练过程
在典型的自蒸馏设置中，训练过程分阶段进行。首先，使用硬标签（独热编码的真实标签）和诸如交叉熵之类的损失函数，在标准分类任务上训练一个神经网络。初始训练后，记录每个训练示例的模型softmax输出。这些软输出通常经过温度缩放，以锐化或平滑概率分布，充当教师的知识。在下一阶段，重新初始化相同的模型架构（或微调现有权重），并使用组合损失进行训练，该损失包括原始硬标签和来自前一阶段的软目标。温度参数控制软目标的平滑程度；较高的温度产生更平滑的分布，揭示类别间的关系。
这个过程可以重复多代。例如，第0代训练的模型为第1代生成软标签，第1代又为第2代生成软标签，依此类推。有趣的是，性能通常在前几代中提升，然后趋于平稳或略有下降。这些增益归因于模型学习了更规则化的决策边界，因为软目标编码了硬标签无法提供的类别相似性信息。训练目标通常将交叉熵损失与蒸馏损失相结合，并通过一个超参数来平衡教师软目标的影响。
理论解释
已经提出了几种理论来解释自蒸馏为何有效。一个突出的解释涉及软目标的隐式正则化效应。硬标签迫使模型将所有概率质量分配给正确类别，这可能导致过度自信的预测和过拟合。相比之下，软目标鼓励模型在相似类别之间分配概率，起到标签平滑的作用。这降低了模型对噪声的敏感性，并改善了泛化能力。
另一条研究路线将自蒸馏与“暗知识”的概念联系起来，，即错误类别之间的相对概率携带了有用信息。当模型使用自身软目标进行训练时，它有效地放大了这种暗知识，从而产生更鲁棒的特征表示。此外，一些研究者将自蒸馏视为一种熵正则化形式，其中模型因过于自信而受到惩罚，从而促进更平滑的决策边界。
从优化角度来看，自蒸馏可以被视为一种自助法（bootstrapping）。模型迭代地精炼自身的预测，每一代都为下一代提供稍好的目标。这个过程类似于期望最大化（EM）算法，其中模型在生成目标和拟合目标之间交替。理论分析表明，在特定条件下，自蒸馏收敛到一个固定点，对应于校准良好且准确性更高的模型。
在深度学习中的应用
自蒸馏已在深度学习的各个领域找到应用。在计算机视觉中，它被用于改进图像分类模型，特别是在标注数据有限的场景中。例如，在CIFAR-10和ImageNet等数据集上训练的模型，通过自蒸馏持续获得准确性提升。该技术在半监督学习中也很有效，其中模型为未标注数据生成软标签，从而扩展了有效的训练集。
在自然语言处理中，自蒸馏已被应用于基于Transformer的模型，包括大型语言模型。例如，语言模型可以使用自身生成的响应进行训练，以改善连贯性和事实准确性。这种方法与自训练相关，其中模型迭代地为未标注语料库生成标签。自蒸馏也被用于序列到序列任务，如机器翻译，其中模型自身的翻译作为额外的训练数据。
除了分类和生成任务，自蒸馏还被用于模型剪枝和压缩。通过将模型蒸馏到自身，但减少宽度或深度，研究人员可以获得紧凑的模型，同时保留大部分原始性能。这对于在计算资源有限的边缘设备上部署模型特别有用，例如来自高通或安谋控股的设备。
与其他技术的关系
自蒸馏与其他几种训练方法在概念上具有相似性。它与课程学习密切相关，在课程学习中，训练示例按有意义的顺序呈现。在自蒸馏中，软目标可以被视为一种课程形式，因为它们逐渐精炼模型的理解。它也与数据增强有重叠，因为软目标有效地创造了新的训练信号。一些研究人员已将自蒸馏与Dropout和批归一化相结合，以进一步增强正则化。
该技术还与基于人类反馈的强化学习（RLHF）相关联，其中模型使用自身或其他模型的反馈进行改进。在自蒸馏中，反馈是模型自身的概率分布，充当软奖励信号。此外，自蒸馏可以被视为知识蒸馏的一个特例，其中教师和学生共享相同的架构，而不是异构设置。
实证结果与基准
实证研究表明，自蒸馏在多种架构和数据集上持续提高测试准确性。例如，在CIFAR-100上，使用自蒸馏训练的残差网络相比仅使用硬标签训练的基线，报告了1-2%的准确性提升。在ImageNet上，增益较小但仍然显著，通常在0.5-1%左右。当模型过度参数化或数据集较小时，改进更为明显，这表明自蒸馏起到了正则化器的作用。
校准是自蒸馏表现优异的另一个领域。使用自蒸馏训练的模型往往具有较低的期望校准误差，这意味着它们的预测概率更好地反映了真实准确性。这对于决策置信度至关重要的应用（如医学诊断或自动驾驶）非常关键。在特斯拉自动驾驶或Waymo系统中，校准良好的模型可以减少过度自信错误的风险。
自蒸馏也被证明可以提高对对抗攻击的鲁棒性。软目标诱导的平滑决策边界使得小的扰动更难翻转预测。这一现象在视觉和语言模型中都有观察到，尽管与专门的对抗训练方法相比，效果较为温和。
变体与扩展
已经提出了几种自蒸馏的变体来应对特定挑战。一种变体称为“重生网络”，涉及训练一个与教师架构相同但随机初始化不同的学生模型。学生模型在教师的软目标上进行训练，这个过程重复多代。这种方法已被证明能产生一致的改进，后几代有时会超越前几代。
另一种扩展是“在线自蒸馏”，其中模型在相同的训练运行中蒸馏自身的预测，而不是分阶段进行。这是通过维护模型输出的移动平均或使用共享分类器来实现的。在线方法更高效，因为它们避免了多次训练过程，但可能不太稳定。
自蒸馏也已与Transformer中的多头注意力机制相结合。例如，模型可以将自身注意力头的知识蒸馏到单个头中，从而提高可解释性和性能。这对于用于机器翻译和摘要的编码器-解码器架构尤其相关。
挑战与局限性
尽管有其优势，自蒸馏并非普遍有效。在某些情况下，特别是对于非常小的模型或高度噪声的数据集，增益可以忽略不计甚至为负。该技术还引入了额外的超参数，如温度和蒸馏权重，这些需要调整。不正确的设置可能导致欠拟合或过度平滑，使模型变得过于保守并失去判别能力。
另一个局限性是计算开销。虽然自蒸馏避免了训练单独的教师，但它仍然需要多次训练过程或存储软目标，这对于大型数据集可能占用大量内存。对于具有数十亿参数的大型语言模型，为每个训练示例生成和存储软目标是不切实际的。研究人员提出了近似方法，例如使用数据子集或压缩软目标，但这些引入了额外的复杂性。
对自蒸馏的理论理解仍然不完整。虽然实证结果令人鼓舞，但尚无统一框架解释所有观察到的现象。一些研究表明，自蒸馏可能放大初始模型中存在的偏差，导致次优解。这在公平性至关重要的应用中尤其令人担忧。
未来方向
正在进行的研究正在探索使自蒸馏更高效、更鲁棒的方法。一个方向是开发自适应温度调度，根据训练期间模型的置信度进行调整。另一个是将自蒸馏与专门为校准设计的损失函数相结合，如焦点损失或标签平滑变体。
在生成式人工智能的背景下，自蒸馏正被研究作为改善生成文本事实一致性的方法。通过让模型蒸馏自身的响应，它可以学习避免幻觉。这对于部署在高风险环境中的OpenAI和Anthropic模型尤其相关。
自蒸馏也正在与数据增强技术相结合，以创造更多样化的训练信号。例如，模型可以为同一输入的增强版本生成软目标，强制执行一致性并改善不变性。这种方法在半监督和自监督学习范式中显示出前景。
最后，人们对理解自蒸馏的理论基础越来越感兴趣。研究人员正在使用信息论和优化工具来表征自蒸馏何时以及为何有帮助。这可能会为何时应用该技术以及如何设置其超参数提供原则性指导。
结论
自蒸馏代表了一个简单而强大的想法：模型可以从自身学习。通过使用自身的预测作为软目标，它在没有外部监督的情况下实现了更好的泛化、校准和鲁棒性。该技术已在众多任务和架构中得到验证，从小型卷积网络到大型Transformer。尽管仍存在挑战，特别是在计算成本和理论理解方面，自蒸馏很可能继续成为机器学习工具箱中的常用技术。随着模型在规模和复杂性上不断增长，自蒸馏提供了一种可扩展的方式来提高性能，而无需额外的数据或架构更改。