双下降是在机器学习中观察到的一种现象，其中模型的泛化误差随着模型复杂度或参数数量的增加而呈现非单调的模式。在经典观点中，测试误差随复杂度增加到某一点后下降，然后因过拟合而上升。双下降描述的是第二个阶段：在初始上升后，当模型变得高度过参数化时，误差再次下降，往往达到与先前最小值相当或更优的水平。这一行为挑战了传统统计学习理论，并对理解大型神经网络为何能良好泛化具有重要意义。
这一概念在2010年代末通过实证研究和理论分析而受到关注。研究人员观察到，现代深度学习模型，其参数往往多于训练样本，并未遭受预期的灾难性过拟合。相反，它们表现出“双下降”曲线，在插值阈值处出现误差峰值，，即模型恰好拟合训练数据的点，，随后在过参数化区域下降。这一发现重塑了关于模型容量、正则化以及机器学习中归纳偏差作用的讨论。
历史背景
经典的偏差-方差权衡，作为统计学习的基石，认为模型误差是偏差（简化假设引起的错误）和方差（对训练数据敏感性的错误）之和。随着复杂度增加，偏差减少但方差增加，导致测试误差曲线呈U形。这一观点主导了数十年，影响了特征选择和正则化等实践。然而，它假设模型相对于数据是欠参数化的，这已不再适用于现代深度学习。
非经典行为的早期迹象出现在1990年代，对神经网络和决策树的研究中，但这些在很大程度上被忽视了。“双下降”这一术语在2018-2019年左右由包括mikhail-belkin和peter-bartlett在内的研究人员推广，他们提供了从线性回归到深度网络等各种模型的实证证据。他们的工作表明，误差峰值出现在插值阈值附近，而在此点之后添加参数可以改善泛化，这与经典直觉相反。
理论解释
人们提出了多种理论来解释双下降。一个突出的解释涉及“良性过拟合”的概念，即模型可以拟合训练数据中的噪声而不损害新数据上的泛化。在高维设置中，某些参数配置实现零训练误差，同时保持低测试误差，有效地平均掉噪声。这与神经网络的“核机制”相关，其中过参数化模型表现得像具有有利性质的核方法。
另一条工作路线集中在优化景观上。在过参数化模型中，梯度下降往往找到不仅误差低而且具有某些隐式偏差的解决方案，如最小范数或平坦最小值。这些偏差可以导致比经典理论预测更好的泛化。此外，插值阈值处的峰值可以看作一种相变，模型从欠拟合过渡到过拟合，然后进入一个区域，其中额外容量允许更平滑的解决方案。
由Aleksander Madry等人进行的研究考察了该背景下的对抗鲁棒性，发现双下降也可能出现在鲁棒性指标中。理论工作通常依赖于简化设置，如具有随机特征的线性模型，以推导出精确结果。这些分析表明，曲线的形状取决于信噪比、数据分布以及所使用的特定优化算法等因素。
实证观察
双下降已在各种模型和任务中观察到。在深度学习与神经网络架构中，研究人员在图像分类、自然语言处理和其他领域记录了该现象。例如，增加神经网络的宽度（每层单元数）通常会产生双下降曲线，在某个宽度处出现验证误差峰值，随后随着宽度进一步增加而改善。类似地，增加训练轮数可以表现出相关效应，有时称为“逐轮双下降”。
该现象不仅限于神经网络。它还出现在随机森林、支持向量机甚至具有多项式特征的简单线性模型中。在所有情况下，关键是模型有足够容量来插值训练数据，峰值出现在插值首次可能的点。在此点之后，模型可以找到既插值又平滑的解决方案，从而导致更低的测试误差。
实际影响包括模型选择的指导。不再总是偏好更简单的模型，从业者可能受益于使用非常大的模型，前提是适当训练。这影响了像大型语言模型这样的大规模模型的发展，这些模型通常严重过参数化，却能良好泛化。诸如丢弃、批归一化和权重初始化等技术可以改变峰值的位置，但基本的双下降行为持续存在。
与现代AI的关系
双下降对于理解现代人工智能系统的成功至关重要。像变换器这样的模型，用于生成式AI，由OpenAI、Anthropic和Google DeepMind等组织开发，通常有数十亿参数并在大量数据集上训练。它们尽管极端过参数化仍能泛化的能力是双下降的直接体现。该现象还与在这些模型中观察到的缩放定律相关，其中性能随更多参数和数据可预测地提高。
在深度学习框架和硬件背景下，双下降激励了像AWS Trainium和Google Cloud TPU这样的专用加速器的使用，这些加速器支持训练非常大的模型。它还告知关于模型剪枝和数据增强的研究，因为这些技术可以影响插值阈值和误差曲线的形状。理解双下降有助于研究人员设计架构和训练程序，利用过参数化的好处，同时避免峰值。
开放问题与未来方向
尽管取得了显著进展，双下降的许多方面仍未解决。第二次下降发生的确切条件尚未完全表征，理论结果往往依赖于可能在实践中不成立的假设。关于双下降是普遍现象还是特定于某些数据分布和模型类别，存在持续的争论。研究人员还在探索与其他现象的联系，如彩票假设和课程学习的作用。
未来的工作旨在开发统一的理论，解释经典和现代行为，可能为模型设计带来新的原则。截至2020年代中期，双下降仍是一个活跃的研究领域，对统计学习理论、优化以及AI系统的实际部署具有影响。该现象挑战了更简单模型总是更好的观念，表明复杂度与泛化之间的关系比先前认为的更为微妙。