Nesterov动量，也称为Nesterov加速梯度（NAG），是一种用于训练神经网络和其他机器学习模型的优化方法。它通过不在当前参数位置计算梯度，而是在基于累积速度预测的未来位置计算梯度，从而改进了经典动量方法。这种前瞻机制通常比标准动量带来更快的收敛速度和更好的性能，特别是在深度学习中常见的病态或非凸优化问题中。
该方法由Yurii Nesterov于1983年在凸优化背景下提出，在光滑凸函数上实现了最优收敛率。在机器学习社区中，它通过Soumith Chintala等人在Torch及后来的PyTorch等库中的实现而得到推广。该技术现已成为许多训练流程中的标准组件，通常与SGD变体和学习率调度结合使用。
Nesterov动量的核心思想是在计算梯度之前先向前看一步。在标准动量中，速度使用当前参数处的梯度进行更新，然后参数沿速度方向移动。在Nesterov动量中，参数首先被速度暂时偏移，梯度在此前瞻位置计算，然后用该梯度更新速度。这一细微差异使优化器能够更主动地响应损失景观的变化，减少振荡和过冲。
数学表述
标准动量更新规则通常写为：
- v_t = mu v_{t-1} - lr grad(theta_{t-1})
- theta_t = theta_{t-1} + v_t
其中v是速度向量，mu是动量系数（通常为0.9），lr是学习率，grad(theta)是损失函数在参数theta处的梯度。
Nesterov动量将其修改为：
- theta_lookahead = theta_{t-1} + mu * v_{t-1}
- v_t = mu v_{t-1} - lr grad(theta_lookahead)
- theta_t = theta_{t-1} + v_t
前瞻步骤在预期先前速度移动的位置评估梯度。这相当于在前瞻位置执行梯度步骤，然后修正速度，从而更准确地估计未来梯度方向。
与标准动量的比较
标准动量累积过去梯度的运行平均值，有助于平滑噪声梯度并加速一致方向的进展。然而，当梯度方向突然改变时，它可能适应缓慢。Nesterov动量通过在预期未来位置计算梯度来解决这一问题，在速度完全将参数带到那里之前提供修正信号。这通常导致减少振荡和更快的收敛，尤其是在高曲率或狭窄谷地的问题上。
实证研究表明，Nesterov动量在典型深度学习任务中经常优于标准动量，例如在图像分类基准上训练卷积网络或在序列数据上训练循环网络。例如，在CIFAR-10上训练残差网络时，使用动量系数为0.9的Nesterov动量可以达到与标准动量相似的准确率，但所需轮次更少。
收敛性质
理论上，Nesterov动量在光滑凸函数上实现了O(1/t^2)的最优收敛率，而标准梯度下降为O(1/t)，标准动量也为O(1/t)（但常数更好）。这一理论优势使Nesterov方法成为优化理论的基石。在实践中，该方法即使在非凸问题上也保持强劲性能，尽管理论保证并不直接适用。
该方法的稳定性通过使用比标准动量典型值稍小的学习率来增强，因为如果学习率过高，前瞻可能导致过冲。从业者通常将动量系数设为0.9，并在0.01到0.1范围内调整学习率以适应许多架构。
在深度学习框架中的实现
Nesterov动量在大多数深度学习框架中均可直接使用。例如，在PyTorch中，SGD优化器接受参数nesterov=True以启用它。类似地，TensorFlow和Keras通过其SGD优化器的nesterov参数提供该功能。实现很简单：优化器在评估梯度之前内部执行前瞻计算，这对用户是透明的。
在PyTorch中的典型用法如下：
import torch optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9, nesterov=True)
这一单一标志即可启用前瞻机制，使研究人员和工程师无需修改训练循环即可轻松采用。
在深度学习中的应用
Nesterov动量广泛用于训练各种神经网络架构，包括残差网络、用于图像分割的U-Net，以及大型语言模型和生成式AI系统中的Transformer。例如，许多ImageNet上ResNet的开源实现使用动量系数为0.9的Nesterov动量和余弦学习率调度来达到最先进的结果。
在深度学习研究中，Nesterov动量通常与批归一化和权重初始化技术结合使用以稳定训练。它也是比较新优化器（如Adam和RMSprop）的常见基线。虽然Adam等自适应方法按参数调整学习率，但Nesterov动量提供了确定性加速，在损失景观平滑时特别有效。
与其他优化器的关系
Nesterov动量与其他优化算法密切相关。它可以被视为更广泛的加速梯度方法家族中的一个特定实例。该技术也被纳入更高级的优化器中；例如，Adam的某些变体（如NAdam）将Adam的自适应学习率与Nesterov加速相结合。这种混合方法旨在捕捉两者的优点，实现自适应逐参数缩放和前瞻修正。
在分布式训练环境中，例如使用AWS或Google Cloud的环境，Nesterov动量通常与梯度裁剪结合使用，以确保大批量下的稳定性。该方法相对简单且性能强劲，使其在研究和生产环境中都是常用工具。
实用技巧与调参
使用Nesterov动量时，适当调整学习率和动量系数很重要。常见起点是学习率0.01和动量0.9，但这些值通常需要根据模型和数据集进行调整。数据增强和学习率调度等技术通常结合使用以达到最佳效果。
一个潜在陷阱是前瞻计算可能导致有效步长大于预期，因此有时建议将学习率降低1/(1-mu)倍。例如，如果使用动量0.9，可以将学习率比标准SGD降低10倍。许多实现会在内部自动处理这种缩放，但值得验证。
结论
Nesterov动量仍然是机器学习优化工具箱中的基本工具。其前瞻梯度评估提供了一种原则性的方式来加速收敛，同时保持稳定性。截至2020年代中期，它继续在学术研究（如MIT CSAIL和斯坦福AI实验室等机构）和工业应用（如OpenAI和Google DeepMind等公司）中广泛使用。虽然已开发出更新的优化器，但Nesterov动量的简单性和理论支持确保了其在训练现代AI系统中的持续相关性。