权重衰减是一种用于防止过拟合的正则化技术，其方法是在损失函数中添加一个与模型权重平方大小成正比的惩罚项。该惩罚项促使模型保持较小的权重值，这通常有助于获得更简单、对未见数据泛化能力更强的模型。权重衰减最常见的实现方式是L2正则化，其中惩罚项为所有权重平方和乘以一个超参数（通常记为lambda或weight_decay）。它是训练深度神经网络（包括大型语言模型）时的标准工具，并得到所有主流深度学习框架的支持。
这一概念源于经典统计学中的岭回归（也称为Tikhonov正则化），后者将相同的思想应用于线性模型。在神经网络的背景下，权重衰减在20世纪80年代和90年代得到推广，特别是通过Anders Krogh和John Hertz等人的研究工作，他们证明了该方法在提升泛化性能方面的有效性。如今，权重衰减在深度学习实践中无处不在，常与dropout和批归一化等其他正则化方法结合使用。
机制与数学表述
在标准训练中，损失函数衡量模型对训练数据的拟合程度。引入权重衰减后，优化目标变为：
L_total = L_data + (lambda / 2) * sum(w_i^2)
其中L_data是原始损失（如交叉熵），lambda是正则化系数，求和遍历所有可训练权重。因子1/2有时是为了数学推导方便而加入，因为它能简化导数计算。在梯度下降过程中，每个权重的更新规则变为：
w_i <- w_i - learning_rate (dL_data/dw_i + lambda w_i)
这表明权重衰减在每个更新步骤中都会按比例（1 - learning_rate * lambda）缩小权重，而不仅仅是根据梯度调整。这种缩小的效果正是“权重衰减”名称的由来。
在实践中，PyTorch和TensorFlow等框架实现权重衰减的方式有两种：一是将其作为独立的惩罚项添加到损失中，二是将其作为优化器（如AdamW）的参数直接作用于权重更新。后者被称为解耦权重衰减，它直接将衰减应用于权重而非梯度，这在自适应优化器中能改善训练动态。
在防止过拟合中的作用
过拟合发生在模型对训练数据（包括噪声）学习过度，从而无法泛化到新数据时。较大的权重往往意味着模型过度依赖训练集中的特定模式。通过惩罚大权重，权重衰减迫使模型寻找更分散、更不极端的解，这通常能提升泛化能力。这在深度学习中尤为重要，因为模型可能拥有数百万甚至数十亿参数，极易记住训练数据。
实证研究表明，权重衰减能显著缩小训练与验证性能之间的差距。例如，在卷积神经网络的图像分类任务中，添加权重衰减通常能将测试准确率提升几个百分点。在自然语言处理中，训练Transformer模型（包括大型语言模型）时，权重衰减是防止在大规模语料上过拟合的标准做法。
与L2正则化及其他技术的关系
当损失函数可微且使用普通随机梯度下降（SGD）优化器时，权重衰减在数学上等价于L2正则化。然而，对于Adam等自适应优化器，这种等价性不再成立，因为权重衰减和L2正则化在更新规则上存在差异。这一发现促使Ilya Loshchilov和Frank Hutter在2019年提出了AdamW优化器，它实现了解耦权重衰减，现已成为许多基于Transformer模型（包括OpenAI和Google DeepMind的模型）的默认选择。
权重衰减常与其他正则化方法配合使用。Dropout通过在训练中随机丢弃神经元来提供互补的正则化效果；批归一化虽然主要用于稳定训练，但也具有轻微的正则化作用；早停法在验证性能不再提升时停止训练，也是一种常见做法。权重衰减并非这些方法的替代品，而是与它们协同工作。
实际考量与超参数调优
权重衰减系数lambda是一个需要调优的超参数，常见取值范围在1e-4到1e-2之间，具体取决于模型和数据集。lambda过小可能无法有效防止过拟合，而过大会导致欠拟合，使模型过于简单而无法捕捉数据中的关键模式。在实践中，lambda通常通过交叉验证或参考类似任务的经验值来确定。
权重衰减通常应用于所有权重，但有时会排除偏置项，因为偏置对过拟合的影响较小。某些实现还会排除批归一化层中的缩放参数，因为这些参数具有尺度不变性。在现代框架中，这可以通过参数分组（parameter groups）来实现，允许对不同层或参数类型设置不同的衰减系数。
对于大型语言模型等大规模训练，权重衰减通常设置为较小的值，如0.01或0.1。例如，GPT-3在训练中使用了0.1的权重衰减。Transformer家族中的许多模型都采用AdamW优化器并配合权重衰减，这已成为标准实践。
历史发展与关键贡献
惩罚大权重的思想可追溯到岭回归，该方法在20世纪70年代被系统化。在神经网络领域，权重衰减于20世纪80年代末被明确提出。1992年，Anders Krogh和John Hertz发表了具有里程碑意义的论文《A Simple Weight Decay Can Improve Generalization》，证明了权重衰减能有效提升神经网络的泛化能力，为后续的广泛应用奠定了基础。
进入2010年代，随着深度学习的兴起，权重衰减成为训练深层网络的标准组件。2019年，Ilya Loshchilov和Frank Hutter的AdamW论文解决了权重衰减与自适应优化器的兼容性问题，进一步巩固了其在现代深度学习中的地位。如今，权重衰减已成为几乎所有深度学习项目的默认配置。
在现代AI系统中的应用
权重衰减几乎应用于每一个深度学习项目，从图像分类的ResNet和EfficientNet，到自然语言处理的BERT、GPT和T5等模型。OpenAI、Anthropic和Google DeepMind等机构在训练其大型模型时，都将权重衰减纳入训练流程，以确保模型具有良好的泛化能力。
对于大型语言模型，权重衰减有助于缓解在训练语料上的过拟合，这对于模型在多样化任务上的表现至关重要。它还能防止模型过度依赖训练数据中的特定模式，从而减少对未见输入的过拟合风险。
局限性与替代方案
尽管权重衰减非常有效，但它并非万能。它有时会与其他正则化方法产生不良交互，且其效果高度依赖于模型架构和数据特性。替代方案包括L1正则化（鼓励权重稀疏，使许多权重变为零）和dropout（对全连接层特别有效）。较新的方法如随机深度（stochastic depth）和数据增强也能提供正则化效果。
在某些情况下，过强的权重衰减可能有害，导致欠拟合。此外，它增加了需要调优的超参数，在大规模实验中可能带来额外负担。尽管如此，权重衰减仍是机器学习实践者工具箱中的基础工具。
结论
权重衰减是一种简单而强大的正则化技术，经受住了时间的考验。通过惩罚大权重，它促使模型选择更简单的解，从而提升泛化能力。其与L2正则化的等价性以及在现代优化器（如AdamW）中的集成，使其成为深度学习中的默认选择。随着模型规模不断增长，权重衰减很可能继续在训练稳健可靠的AI系统中发挥关键作用。