RMSProp是一种自适应学习率优化算法，常用于机器学习和深度学习中训练神经网络。它通过将梯度更新除以近期梯度幅值的均方根，为每个参数单独调整学习率，这有助于稳定训练并加速收敛，尤其适用于非平稳目标函数和稀疏数据。
该方法由Geoffrey Hinton在2012年为Coursera课程“神经网络的机器学习”编写的讲义中提出，但从未经过正式的同行评审。它是作为rprop和AdaGrad的改进而开发的，解决了后者学习率单调递减的问题。自那以后，RMSProp已成为许多深度学习框架中的标准优化器，并被广泛用于训练诸如大型语言模型和其他生成式AI系统等模型。
背景：随机梯度下降
RMSProp建立在随机梯度下降（SGD）的基础上，SGD是一种用于优化目标函数的迭代方法。在机器学习中，目标通常是最小化经验风险函数，其形式为 Q(w) = (1/n) Σ Q_i(w)，其中每个 Q_i 是第 i 个训练样本的损失。标准梯度下降需要在整个数据集上计算梯度，这对于大型数据集来说计算代价高昂。SGD则改为在每一步使用随机选择的子集（或单个样本）来近似梯度，从而加快迭代速度，但代价是更新过程中噪声更大。
随机近似的思想可以追溯到20世纪50年代的Robbins-Monro算法。在现代实践中，SGD及其变体对于训练大规模模型至关重要，因为它们减少了计算完整梯度的负担。然而，使用固定学习率的SGD可能对学习率的选择很敏感，并且可能收敛缓慢或产生振荡。
自适应学习率的需求
在SGD中，学习率 η 控制步长。选择单一的全局学习率很困难，因为不同参数可能需要不同的步长，尤其是在梯度尺度各异的深度网络中。过大的学习率可能导致发散，而过小的学习率则会导致收敛缓慢。自适应方法通过基于历史梯度信息维持每个参数的学习率来解决这一问题。
早期的自适应方法包括AdaGrad，它通过平方梯度和的平方根的反比来缩放学习率。然而，Adagrad的平方梯度累积是单调递增的，导致学习率随时间缩小到零，这限制了它在深度学习中的应用。RMSProp通过使用平方梯度的移动平均来修正这一点，防止学习率变得过小。
RMSProp算法
RMSProp为每个参数维护平方梯度的运行平均值。在每次迭代 t 中，对于参数 w，算法计算梯度 g_t（来自一个小批量），并更新平均值如下：
v_t = β v_{t-1} + (1 - β) g_t^2
其中 β 是衰减率，通常设置为0.9。参数更新则为：
w_{t+1} = w_t - (η / sqrt(v_t + ε)) * g_t
其中 η 是全局学习率（通常为0.001），ε 是一个小的常数（例如1e-8），用于避免除以零。项 sqrt(v_t) 是近期梯度的均方根，因此得名RMSProp。
衰减率 β 控制考虑了多少历史信息；较小的 β 给予近期梯度更多权重，使方法对损失景观的变化更具适应性。这对于非平稳目标特别有用，例如在循环神经网络和在线学习中遇到的情况。
变体和扩展
RMSProp启发了多种变体。最著名的是adam，它结合了RMSProp和动量，同时维护梯度的移动平均（一阶矩）和平方梯度的移动平均（二阶矩）。由于其实用性和快速收敛性，Adam已成为许多深度学习应用中的默认优化器。其他变体包括AdaDelta，它与RMSProp类似但采用了不同的更新规则，以及结合了Nesterov动量的Nadam。
在实践中，RMSProp通常与小批量训练结合使用，其中梯度是在小数据子集上计算的。它与批量归一化等稳定训练的技术也能很好地配合。许多深度学习框架（如TensorFlow和PyTorch）都提供了RMSProp的内置实现，使其易于使用。
在深度学习中的应用
RMSProp已广泛用于训练深度神经网络，包括用于图像识别的卷积网络和用于序列建模的循环网络。它尤其适用于训练具有稀疏梯度的模型，例如自然语言处理中的模型。例如，RMSProp已被用于训练变换器的早期版本，以及在深度Q网络等强化学习算法中。
在大型语言模型的背景下，像RMSProp和Adam这样的自适应优化器对于处理高维参数空间和不同尺度的梯度至关重要。OpenAI、Anthropic和Google DeepMind等公司依赖这类优化器在大型数据集上训练模型，通常使用来自亚马逊网络服务和谷歌云等分布式计算基础设施。
与其他优化器的比较
RMSProp与基于动量的方法（如带动量的SGD）不同，后者维护一个速度向量来平滑更新。动量有助于逃离局部最小值并在一致方向上加速，而RMSProp则按参数归一化步长，这在梯度尺度不同时可能更稳定。与Adagrad相比，RMSProp的移动平均防止了学习率过快衰减，使其更适合长时间的训练。
然而，RMSProp有时可能对 β 和 η 的选择较为敏感。在实践中，默认的 β=0.9 和 η=0.001 对许多问题都能良好工作。对于某些任务，Adam的偏差校正和动量可能带来更快的收敛，但RMSProp仍然是一个可靠的选择，尤其是在内存受限时，因为它只需为每个参数存储一个额外变量。
实际注意事项
使用RMSProp时，监控损失曲线并根据需要调整超参数非常重要。过大的学习率可能导致发散，而过小的学习率则可能减慢收敛。ε 项通常设置为一个小值，以防止除零错误。对于稀疏数据，RMSProp可以与梯度裁剪结合使用，以避免梯度爆炸，这在循环网络中很常见。
RMSProp还可以与学习率调度结合使用，即在训练后期降低全局学习率，以便在后期阶段微调模型。在实践中，RMSProp常被用作基线，并与Adam或其他优化器进行比较，以选择最适合特定任务的优化器。
结论
RMSProp是深度学习领域的基础性自适应优化算法。通过使用梯度的均方根，它为训练非平稳目标提供了稳定且高效的方法。其思想已被融入更先进的优化器中，但RMSProp本身仍然是机器学习从业者的宝贵工具。随着深度学习的不断发展，自适应优化方法（如RMSProp）将继续在训练复杂模型中发挥重要作用。