Sharpness-Aware Minimization（SAM）是一种用于训练神经网络的优化方法，其明确寻求损失景观中的平坦最小值。该方法由Pierre Foret及其同事于2021年提出，通过修改标准梯度下降更新，以惩罚损失快速变化的区域，从而提升模型在未见数据上的泛化能力。与仅最小化训练损失的传统优化器（如随机梯度下降（SGD）或Adam）不同，SAM还考虑每个参数点的邻域，以找到对扰动具有鲁棒性的解。
SAM的核心思想源于观察：神经网络通常有许多局部最小值，它们对训练数据的拟合程度相同，但其中一些最小值的泛化能力优于其他。平坦最小值（即损失表面对参数变化相对不敏感的区域）在经验上与更好的泛化相关。SAM通过求解一个最小-最大优化问题来形式化这一概念：在每一步中，它首先计算一个在当前参数周围小范围内最大化损失的扰动，然后使用该扰动点的梯度更新参数。这鼓励优化器向邻域内均匀较低的吸引盆地移动，而不仅仅是单个点。
SAM已被证明能在各种架构和任务中提高准确性，包括图像分类、语言建模和强化学习。当与其他正则化技术（如数据增强和权重衰减）结合时，其效果尤为显著。该方法增加了最小的计算开销（大约是前向-反向传播成本的两倍），但通常能带来显著的准确性提升。自其提出以来，已提出了多种变体，包括自适应SAM和前瞻SAM，这些变体进一步降低了计算负担。
动机：尖锐与平坦最小值
深度学习的经验成功通常归因于大型模型在高维损失景观中找到良好解的能力。然而，并非所有最小值都是平等的。研究表明，SGD倾向于收敛到平坦最小值，这些最小值对小的参数扰动更鲁棒，并且通常对应更好的泛化。相比之下，尖锐最小值是狭窄的盆地，损失在远离最小值时急剧增加；这些通常源于激进的优化，并可能导致过拟合。
关于平坦最小值的早期理论工作可追溯到1990年代对神经网络泛化的研究，但缺乏严格的框架。SAM提供了一个直接的优化目标，明确惩罚尖锐度，而无需显式正则化项。通过计算ε半径内的最坏情况扰动，SAM有效地鼓励损失景观在该邻域内均匀较低，从而促进平坦性。
形式化定义与算法
设\(w\)表示模型参数，\(L(w)\)表示训练损失。SAM求解以下问题：
\[ \min_w \max_{\|\epsilon\| \le \rho} L(w + \epsilon) \]
其中\(\rho\)是控制扰动半径的超参数。在实践中，内部最大化通过一步梯度上升来近似：\(\hat{\epsilon} = \rho \frac{\nabla L(w)}{\|\nabla L(w)\|}\)。更新规则变为：
\[ w_{t+1} = w_t - \eta \nabla L(w_t + \hat{\epsilon}_t) \]
这需要每步进行两次梯度计算：一次用于找到扰动，另一次用于更新参数。该方法与基础优化器无关；它可以与SGD、Adam或任何基于梯度的算法一起使用。在实践中，SAM通常与权重衰减和动量结合使用，从而获得进一步的改进。
超参数与调优
主要超参数是扰动半径\(\rho\)，它控制所考虑邻域的大小。较大的\(\rho\)鼓励更平坦的最小值，但可能减慢收敛速度。对于归一化数据集，典型值范围从0.01到0.1。学习率和权重衰减应与\(\rho\)一起调整。一些研究表明，SAM受益于更大的批大小和学习率调度。自适应变体，如自适应SAM（ASAM），根据参数的规模调整半径以提高稳定性。
变体与扩展
自原始论文以来，已提出了多种改进。自适应SAM（ASAM）通过参数幅度归一化扰动以实现尺度不变性，在CIFAR-10和ImageNet等任务上提高了性能。前瞻SAM将前瞻优化器与SAM结合以减少方差。其他变体包括带随机权重平均（SWA）的Sharpness-Aware Minimization和带标签平滑的SAM。这些方法旨在降低计算成本或进一步增强泛化。
跨领域应用
SAM已成功应用于广泛的Machine learning任务。在计算机视觉中，它提高了Residual Network (ResNet)架构在CIFAR-10和ImageNet等数据集上的图像分类准确性。在自然语言处理中，SAM有助于微调Large language model（如transformer），尤其是在数据稀缺时。它也被用于医学影像、药物发现和强化学习。在Generative AI中，SAM有助于训练稳定图像生成的模型。其多功能性使其成为学术研究和工业界的重要工具，在PyTorch和TensorFlow等流行库中都有实现。
与其他优化技术的关系
SAM不是Adam (Optimizer)或SGD的替代品，而是修改损失景观的附加组件。它常与梯度裁剪等方法进行比较，后者也稳定训练，但SAM解决泛化问题，而不仅仅是收敛。它与Batch Normalization有相似之处，两者都隐式影响损失表面的几何形状，尽管通过不同的机制。SAM可以与Data Augmentation和Dropout结合使用，以进一步正则化模型。平坦最小值的概念也与损失景观可视化和BAIR (Berkeley AI Research)社区的熵基正则化工作相关。
理论见解
研究为平坦最小值为何能更好地泛化提供了理论依据。对于过参数化模型，函数类的复杂性通常通过最小值的尖锐度来衡量。平坦最小值通常对应于低复杂度的解，不会过拟合。SAM的最小-最大公式可以被解释为一种对抗训练形式，使模型对最坏情况扰动具有鲁棒性。一些研究将SAM与贝叶斯推断联系起来，表明它近似参数的后验分布。然而，完整的理论理解仍然开放，积极的研究仍在继续。
计算成本与权衡
SAM的主要缺点是每次更新的计算成本加倍，因为它需要两次前向-反向传播。这对于非常大的模型或实时应用可能是不利的。然而，准确性提升通常能证明开销是合理的，尤其是在训练时间不如最终模型质量重要时。一些变体试图通过减少扰动更新的频率（例如，每几步一次）或使用二阶近似来分摊成本。标准变体和自适应变体之间的选择取决于具体用例。
行业采用
主要AI研究组织已采用SAM用于各种应用。Google DeepMind在强化学习和大规模训练中探索了SAM。OpenAI在提高模型鲁棒性的背景下引用了平坦最小值。Apple和Samsung Electronics在设备端机器学习中应用SAM，以实现高效训练和微调。Amazon Web Services和Google Cloud提供包含SAM实现的库，用于基于云的训练。该方法也集成到流行的深度学习框架中，并广泛用于Kaggle竞赛。
与其他正则化方法的比较
SAM与权重衰减、dropout和Batch Normalization等传统正则化器互补。虽然这些方法作用于单个参数或激活，但SAM作用于整个损失景观。它可以被视为一种对抗训练形式，其中扰动旨在增加损失。这使其与仅限制梯度幅度的梯度裁剪区分开来。SAM也不同于Curriculum Learning，后者关注训练样本的排序。在计算成本方面，SAM比简单正则化更昂贵，但通常能带来更好的准确性回报。
局限性与考虑
尽管有诸多好处，SAM仍有局限性。每步额外的前向-反向传播大约使训练时间加倍，这对于大型模型或数据集可能是不利的。\(\rho\)的选择并不总是直接的，可能需要针对每个任务进行仔细调整。在某些情况下，如标签噪声很大时，SAM可能无法提供改进，甚至可能有害。此外，当模型已经良好正则化时，SAM的效果不太明显。研究人员已探索降低其成本的方法，例如使用数据子集进行扰动计算或分摊两个梯度步骤。
对深度学习实践的影响
SAM已成为深度学习从业者工具箱中的标准工具。当领域偏移是关注点时，它通常是微调预训练模型的默认选择。视觉基准上的许多最先进结果依赖于SAM作为训练流程的组成部分。在工业界，SAM已被Apple、Intel和Nokia Bell Labs等公司采用用于各种应用，并集成到AWS Trainium和Google Cloud等云AI平台中。该方法的简单性和有效性使其成为研究和生产环境中的热门选择。
局限性与挑战
尽管取得了成功，SAM仍有局限性。加倍的训练时间对于非常大的模型（如Natural language processing中使用的Transformer (architecture)）可能是不利的。扰动半径必须仔细调整，最佳值可能因数据集和架构而异。在某些情况下，SAM相对于标准方法的改进是边际的，特别是当基础模型已经良好正则化时。此外，SAM的理论保证仍不完整，其在其他模态（如时间序列或图数据）上的性能探索较少。正在进行的研究解决了这些问题，提出了更高效的近似和自适应方案。
未来方向
SAM的成功引发了从几何角度理解泛化的兴趣。研究人员正在探索与信息论、PAC-Bayes和鲁棒性的联系。高效的SAM变体正在开发中，用于计算资源有限的设备端训练，例如在Amazon Web Services或Microsoft Azure云环境中。SAM与Transformer (architecture)架构和Deep learning框架的集成是一个活跃的研究领域。随着模型越来越大，SAM在无需额外数据的情况下提高泛化能力的能力变得越来越有价值。
结论
Sharpness-Aware Minimization代表了神经网络优化方面的重大进步，通过明确针对平坦最小值（这是良好泛化的关键）来实现。其简单而强大的思想（相对于最坏情况扰动最小化损失）已被多个领域采用，并证明在提高准确性和鲁棒性方面有效。尽管有计算成本，SAM及其变体现在是实践者工具包中的标准工具，提供了一种可靠的方法，将模型性能推向超越传统优化器所能达到的水平。随着深度学习的不断发展，SAM的进一步改进可能会带来更大的收益。