自蒸馏是知识蒸馏的一种形式，其中单个神经网络同时充当教师和学生。与传统的蒸馏不同（在传统蒸馏中，较大或较复杂的模型指导较小的模型），自蒸馏对两个角色使用相同的架构。模型在训练数据上生成软预测（概率分布），这些预测与真实标签一起用作额外的训练目标。这个过程可以迭代应用或以多代的方式进行，每一代模型都从前一代的输出中学习。该技术已被证明可以提高模型的准确性、校准性和鲁棒性，而无需任何外部教师模型或额外的标记数据。
这一概念源于更广泛的知识蒸馏领域，该领域在2010年代中期得到普及。在标准蒸馏中，高容量的教师网络产生软标签，较小的学生网络模仿这些软标签，从而传递关于类别相似性和不确定性的知识。自蒸馏通过让模型蒸馏自身的知识，消除了对单独教师的需求。这尤其具有吸引力，因为它避免了训练较大教师的计算成本，并消除了通常伴随师生设置的架构约束。研究人员发现，即使是一个单独的模型，在使用自身的软目标进行训练时，也能获得性能提升，这一现象引发了大量的理论和实证研究。
机制与训练过程
在典型的自蒸馏设置中，训练过程分阶段进行。首先，使用硬标签（独热编码的真实标签）和诸如交叉熵之类的损失函数，在标准分类任务上训练神经网络。在初始训练之后，记录模型对每个训练示例的softmax输出。这些软输出（通常通过温度缩放来锐化或展平概率分布）充当教师的知识。在下一阶段，重新初始化相同的模型架构（或微调现有权重），并使用包含原始硬标签和来自前一阶段的软目标的组合损失进行训练。温度参数控制软目标的平滑度；较高的温度产生较软的分布，揭示类间关系。
这个过程可以重复多代。例如，在第0代训练的模型为第1代产生软标签，然后第1代为第2代产生软标签，依此类推。有趣的是，性能通常在前几代中有所提高，然后趋于平稳或略有下降。这些收益归因于模型学习了更规则化的决策边界，因为软目标编码了硬标签未提供的类别相似性信息。训练目标通常将交叉熵损失与蒸馏损失相结合，并由一个超参数加权，以平衡教师软目标的影响。
理论解释
已经提出了几种理论来解释为什么自蒸馏有效。一个突出的解释与软目标的隐式正则化效应有关。硬标签迫使模型将所有概率质量分配给正确的类别，这可能导致过度自信的预测和过拟合。相比之下，软目标鼓励模型在相似类别之间分配概率，起到一种标签平滑的作用。这降低了模型对噪声的敏感性并改善了泛化能力。
另一项工作将自蒸馏与“暗知识”的概念联系起来，，即错误类别之间的相对概率携带有用信息。当模型在其自身的软目标上训练时，它有效地放大了这种暗知识，从而产生更鲁棒的特征表示。此外，一些研究人员将自蒸馏视为一种熵正则化形式，其中模型因过于确定而受到惩罚，从而促进更平滑的决策边界。
从优化角度来看，自蒸馏可以被视为一种自助法。模型迭代地细化自身的预测，每一代都为下一代提供稍好的目标。这个过程类似于期望最大化，其中模型在生成目标和拟合目标之间交替。理论分析表明，在某些条件下，自蒸馏收敛到一个固定点，该固定点对应于一个校准良好且准确性提高的模型。
在深度学习中的应用
自蒸馏已在Deep learning的各个领域找到应用。在计算机视觉中，它被用于改进图像分类模型，特别是在标记数据有限的情况下。例如，在CIFAR-10和ImageNet等数据集上训练的模型在自蒸馏后显示出一致的准确性提升。该技术在半监督学习中也有效，其中模型为未标记数据生成软标签，扩大了有效训练集。
在Natural language processing中，自蒸馏已应用于基于Transformer (architecture)的模型，包括Large language model。例如，语言模型可以在其自身生成的响应上训练，以提高连贯性和事实准确性。这种方法与自训练相关，其中模型迭代地标记其在未标记语料库上的预测。自蒸馏也已用于Sequence-to-Sequence (Seq2Seq)任务，如机器翻译，其中模型自身的翻译作为额外的训练数据。
除了分类和生成之外，自蒸馏已被改编用于Model Pruning和压缩。通过将模型蒸馏到自身并减少宽度或深度，研究人员可以实现紧凑的模型，保留大部分原始性能。这对于在计算资源有限的边缘设备上部署模型特别有用，例如来自Qualcomm或Arm Holdings的设备。
与其他技术的关系
自蒸馏与其他几种训练方法在概念上相似。它与Curriculum Learning密切相关，其中训练示例以有意义的顺序呈现。在自蒸馏中，软目标可以被视为一种课程形式，因为它们逐渐细化模型的理解。它还与Data Augmentation重叠，因为软目标有效地创建了新的训练信号。一些研究人员已将自蒸馏与Dropout和Batch Normalization结合使用，以进一步增强正则化。
该技术还与Reinforcement Learning from AI Feedback (RLAIF)（来自AI反馈的强化学习）相关，其中模型使用自身或另一个模型的反馈来改进。在自蒸馏中，反馈是模型自身的概率分布，充当软奖励信号。此外，自蒸馏可以被视为知识蒸馏的一个特例，其中教师和学生共享相同的架构，而不是典型的异构设置。
实证发现与基准
实证研究表明，自蒸馏在多种架构和数据集上持续提高测试准确性。例如，在CIFAR-100上，使用自蒸馏训练的Residual Network (ResNet)已被报告比仅使用硬标签训练的基线提高1-2%的准确性。在ImageNet上，收益较小但仍然显著，通常在0.5-1%左右。当模型过度参数化或数据集较小时，改进更为明显，这表明自蒸馏起到正则化器的作用。
校准是自蒸馏擅长的另一个领域。使用自蒸馏训练的模型往往具有较低的预期校准误差，这意味着其预测概率更好地反映真实准确性。这对于决策置信度至关重要的应用（如医疗诊断或自动驾驶）至关重要。在Tesla或Waymo系统中，校准良好的模型降低了过度自信错误的风险。
自蒸馏也被证明可以提高对对抗性攻击的鲁棒性。由软目标引起的平滑决策边界使得小的扰动更难翻转预测。这在视觉和语言模型中都已观察到，尽管与专门的对抗训练方法相比，效果适中。
变体与扩展
已经提出了几种自蒸馏的变体来解决特定挑战。一种变体称为“重生网络”，涉及训练一个与教师架构相同但具有不同随机初始化的学生模型。学生模型在教师的软目标上训练，这个过程重复多代。这种方法已被证明能产生一致的改进，后几代有时优于前几代。
另一种扩展是“在线自蒸馏”，其中模型在同一训练过程中蒸馏自身的预测，而不是在单独的阶段中。这是通过维护模型输出的移动平均值或使用共享分类器来实现的。在线方法更高效，因为它们避免了多次训练遍历，但可能不太稳定。
自蒸馏也已与transformer中的Multi-Head Attention机制结合。例如，模型可以从自身的注意力头中蒸馏知识到单个头，提高可解释性和性能。这对于用于机器翻译和摘要的Encoder-Decoder Architecture架构尤其相关。
挑战与局限性
尽管有这些好处，自蒸馏并非普遍有效。在某些情况下，特别是对于非常小的模型或高度噪声的数据集，收益可以忽略不计甚至为负。该技术还引入了额外的超参数，如温度和蒸馏权重，需要调整。不正确的设置可能导致欠拟合或过度平滑，其中模型变得过于保守并失去判别能力。
另一个限制是计算开销。虽然自蒸馏避免了训练单独的教师，但它仍然需要多次训练遍历或存储软目标，这对于大型数据集可能占用大量内存。对于具有数十亿参数的Large language model，为每个训练示例生成和存储软目标是不切实际的。研究人员提出了近似方法，如使用数据子集或压缩软目标，但这些引入了额外的复杂性。
对自蒸馏的理论理解仍不完整。虽然实证结果令人鼓舞，但没有统一的框架来解释所有观察到的现象。一些研究表明，自蒸馏可以放大初始模型中存在的偏差，导致次优解决方案。这在公平性至关重要的应用中尤其令人担忧。
未来方向
正在进行的研究正在探索使自蒸馏更高效和更鲁棒的方法。一个方向是开发自适应温度调度，根据模型在训练期间的置信度进行调整。另一个是将自蒸馏与专门为校准设计的Loss Functions（如焦点损失或标签平滑变体）集成。
在Generative AI的背景下，自蒸馏正在被研究作为改进生成文本事实一致性的方法。通过让模型蒸馏自身的响应，它可以学会避免幻觉。这对于部署在高风险环境中的OpenAI和Anthropic模型尤其相关。
自蒸馏也正在与Data Augmentation技术结合，以创建更多样化的训练信号。例如，模型可以为同一输入的增强版本生成软目标，强制一致性并改善不变性。这种方法在半监督和自监督学习范式中显示出前景。
最后，人们对理解自蒸馏的理论基础越来越感兴趣。研究人员正在使用信息论和优化工具来表征自蒸馏何时以及为何有帮助。这可能导致何时应用该技术以及如何设置其超参数的原则性指导。
结论
自蒸馏代表了一个简单而强大的想法：模型可以从自身学习。通过使用自身的预测作为软目标，它实现了更好的泛化、校准性和鲁棒性，而无需外部监督。该技术已在众多任务和架构中得到验证，从小型卷积网络到大型transformer。尽管仍然存在挑战，特别是在计算成本和理论理解方面，自蒸馏很可能仍然是机器学习工具箱中的主要工具。随着模型在规模和复杂性上继续增长，自蒸馏提供了一种可扩展的方式来提高性能，而无需额外的数据或架构更改。