动量优化器是一种用于加速基于梯度的优化的方法，尤其在训练神经网络时应用广泛。它被引入以解决标准随机梯度下降（SGD）收敛缓慢和振荡的问题。通过累积携带过去梯度信息的速度向量，动量平滑了更新轨迹，使优化器能够沿一致方向更快移动，同时抑制高曲率区域的振荡。该技术是机器学习和深度学习的基础，构成了Adam和RMSProp等许多现代优化器的基础。
动量的核心思想类比于球从山坡滚下：它在下降过程中加速，其运动同时受当前梯度和先前速度的影响。在数学上，动量的更新规则为：v_t = μ v_{t-1} - η ∇L(θ_t)，θ_{t+1} = θ_t + v_t，其中v是速度向量，μ是动量系数（通常为0.9），η是学习率，∇L是损失函数的梯度。这一公式由尤里·涅斯捷罗夫在1980年代推广，他还提出了一种变体，称为涅斯捷罗夫加速梯度（NAG），该变体在前瞻位置计算梯度，提供更快的收敛速度。
历史发展
优化中的动量概念早于现代深度学习。1964年，伯纳德·威德罗和马尔西安·霍夫引入了最小均方（LMS）算法，其中包含一种动量形式以稳定更新。然而，用于梯度下降的正式动量方法由鲍里斯·波利亚克在1964年提出，他提出了重球法。该方法后来在1983年由尤里·涅斯捷罗夫以其加速梯度方法加以改进，为凸问题实现了最优收敛速度。在1980年代和1990年代，动量成为训练神经网络的标准工具，如大卫·E·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉姆斯在教科书中所述，他们推广了反向传播并用动量加速学习。
数学公式
动量优化器通过引入速度项修改了标准SGD更新。标准SGD更新为θ_{t+1} = θ_t - η ∇L(θ_t)。加入动量后，更新变为：v_t = μ v_{t-1} - η * ∇L(θ_t)，θ_{t+1} = θ_t + v_t。这里，μ是动量系数，通常设置在0.5到0.9之间。较高的μ赋予过去梯度更多权重，导致响应新梯度方向时更平滑但可能更慢。速度向量v累积了过去梯度的指数衰减平均值。这种平均减少了更新中的方差，在梯度有噪声时特别有益，例如在基于小批量的随机梯度下降中。
涅斯捷罗夫加速梯度（NAG）是一种变体，它在前瞻点计算梯度：v_t = μ v_{t-1} - η ∇L(θ_t + μ * v_{t-1})，θ_{t+1} = θ_t + v_t。这种前瞻使NAG能够“窥视”未来，使其能更快纠正路线，并在许多设置中实现更快收敛。在实践中，NAG通常优于标准动量，尤其是在凸问题和深度网络中。
在训练神经网络中的作用
在训练深度神经网络时，动量被广泛用于加速收敛和提高稳定性。没有动量，SGD会沿陡峭方向振荡，并在浅薄方向进展缓慢。动量通过平均梯度来抑制振荡，使优化器在一致方向上采取更大步长。这对于训练具有许多层的深度架构尤为重要，因为其损失景观高度非凸，包含许多局部最小值和鞍点。动量通过累积速度帮助逃离鞍点，这可以使优化器越过平坦区域。
现代深度学习框架，如TensorFlow和PyTorch，在其SGD优化器中都包含动量作为标准参数。例如，PyTorch的torch.optim.SGD接受momentum参数，TensorFlow的tf.keras.optimizers.SGD具有momentum参数。这些实现允许从业者轻松向其训练流程中添加动量。
变体与扩展
几种优化器建立在动量概念之上。最著名的是Adam（自适应矩估计），由迪德里克·P·金马和吉米·巴于2015年提出。Adam将动量与逐参数自适应学习率相结合，同时使用梯度的第一矩（均值）和第二矩（方差）。这使得Adam对稀疏梯度和噪声数据具有鲁棒性，并已成为深度学习中最流行的优化器之一。RMSProp由杰弗里·辛顿在其讲义中引入，使用梯度平方的移动平均来归一化学习率，并也包含一种动量形式。其他变体包括AdaGrad（根据历史梯度调整学习率）和Nadam（将涅斯捷罗夫动量与Adam结合）。
在训练神经网络中的作用
在训练深度神经网络时，动量被广泛用于加速收敛并提高稳定性。没有动量，SGD可能在陡峭方向上振荡，而在浅方向上进展缓慢。动量通过平均梯度抑制振荡，使优化器在一致方向上采取更大步长。这对于训练具有多层的深度架构尤为重要，因为其损失景观高度非凸，包含许多局部最小值和鞍点。动量通过累积速度帮助逃逸鞍点，速度可将优化器带过平坦区域。
现代深度学习框架，如TensorFlow和PyTorch，在其SGD优化器中包含动量作为标准参数。例如，PyTorch的torch.optim.SGD接受momentum参数，TensorFlow的tf.keras.optimizers.SGD具有momentum参数。这些实现允许从业者轻松地在训练流程中添加动量。
变体和扩展
多种优化器建立在动量概念之上。最著名的是Adam（自适应矩估计），由迪德里克·P·金马和吉米·巴于2015年提出。Adam将动量与逐参数自适应学习率结合，利用梯度的第一矩（均值）和第二矩（非中心方差）。这使得Adam对稀疏梯度和噪声数据稳健，并已成为深度学习中最流行的优化器之一。RMSProp由杰弗里·辛顿在其讲义中引入，使用梯度的移动平均来归一化学习率，并同时包含动量形式。其他变体包括AdaGrad（根据历史梯度调整学习率）和Nadam（将涅斯捷罗夫动量与Adam结合）。
实际考虑
使用动量时，动量系数μ的选择至关重要。常见默认值为0.9，但对非常嘈杂的梯度，可使用0.95或0.99。学习率需要与动量联合调整；较高的动量通常允许更大的学习率，但过高的学习率可能导致发散。在实践中，学习率调度（如步进衰减或余弦退火）常与动量结合使用以实现良好性能。此外，权重衰减（L2正则化）通常独立于动量使用，如AdamW中，以避免干扰。
动量也用于其他优化场景，如训练大型语言模型和变压器。例如，训练GPT和BERT等模型通常使用Adam，其中包含动量，这有助于处理大规模参数空间和小批量训练带来的噪声梯度。
与其他优化器的比较
与普通SGD相比，动量收敛更快，且对学习率的敏感度较低。然而，它引入了需要调整的超参数μ。与Adam等自适应方法相比，动量更简单，在某些任务（尤其是计算机视觉）中可能实现更好的测试准确率。研究表明，对于某些任务，SGD加动量比Adam能达到更高的测试准确率，尽管Adam在初始阶段收敛更快。这导致了混合方法，如在训练期间从Adam切换到带动量的SGD。
影响与扩展
动量对机器学习领域产生了深远影响。它是优化工具箱中的基本工具，使得训练深度网络变得可行，否则将不切实际。其原理已被扩展至许多现代优化器，并仍是研究和实践中的标准基线。动量原理也影响了其他领域，如强化学习和生成式人工智能，在这些领域中用于加速训练。
参考文献与进一步阅读
如需全面理解，建议参考波利亚克（1964）和涅斯捷罗夫（1983）的原始论文，以及由PyTorch和TensorFlow等框架的文档。深度学习教科书，如伊恩·古德费洛、约书亚·本吉奥和亚伦·库维尔所著，也提供了动量的详细说明。在线资源，如PyTorch和TensorFlow的文档，提供了实施动量的实用指导。