Huber损失，又称平滑L1损失，是一种用于回归任务的损失函数，结合了均方误差（MSE）和平均绝对误差（MAE）的特性。它分段定义：对于小残差，其行为类似于平方误差；对于大残差，则类似于绝对误差。这种混合特性使其对异常值的敏感度低于MSE，同时保持处处可微，这是相对于MAE的关键优势。两种行为之间的转换点由一个超参数控制，通常记为delta（δ）。
Huber损失由Peter J. Huber于1964年在稳健统计的背景下提出，作为一种平衡效率与稳健性的损失函数。在机器学习中，它已成为处理可能包含异常值数据的回归问题的标准选择，例如在目标检测和姿态估计等计算机视觉任务中。其平滑性和凸性使其适用于基于梯度的优化，并且已在主流深度学习框架中实现。
数学定义
对于预测值 \( f(x) \) 和真实值 \( y \)，残差为 \( r = y - f(x) \)。Huber损失定义为：
\[
L_{\delta}(r) = \begin{cases}
\frac{1}{2} r^2 & \text{if } |r| \le \delta \\
\delta (|r| - \frac{1}{2} \delta) & \text{otherwise}
\end{cases}
\]
此处，\( \delta \) 是一个正阈值，决定从二次到线性转换的位置。当 \( |r| \le \delta \) 时，损失为二次形式，提供平滑梯度并对小误差给予较温和的惩罚。当 \( |r| > \delta \) 时，损失变为线性，相比MSE减少了大残差（异常值）的影响，因为梯度幅值被限制在 \( \delta \)。该函数在 \( |r| = \delta \) 处连续且可微，确保优化过程平滑。
性质与优势
Huber损失在MSE和MAE之间提供了平衡。MSE对异常值敏感，因为它对残差进行平方，导致大误差主导损失。MAE对异常值稳健，但在零处存在不可微点，可能使优化复杂化。Huber损失缓解了这两个问题：它处处平滑，且其线性尾部减少了对异常值的惩罚，使其在保持可微性的同时具备稳健性。
另一个优势是Huber损失是凸函数，这保证了在线性模型中梯度下降收敛到全局最小值。在深度学习中，整体网络的凸性无法保证，但损失函数本身表现良好。此外，参数 \( \delta \) 允许实践者调整对异常值的敏感度；较小的 \( \delta \) 使损失更稳健，而较大的 \( \delta \) 使其更接近MSE行为。
与其他损失函数的比较
在回归中，最常见的损失函数是MSE、MAE和Huber损失。MSE因其数学便利性成为许多问题的默认选择，但可能受异常值严重影响。MAE更稳健，但在零处梯度不连续，可能减慢收敛。Huber损失结合了两者的优点：既平滑又稳健。在实践中，当存在异常值时，Huber损失通常比MSE产生更好的泛化性能。
另一个相关的损失是Log-Cosh损失，它同样平滑且稳健，但使用较少。Huber损失在许多应用中更受青睐，因为其行为通过 \( \delta \) 更易于解释和控制。
在机器学习中的应用
Huber损失广泛应用于各领域的回归任务。在计算机视觉中，它用于Faster R-CNN和SSD等目标检测模型中的边界框回归，称为平滑L1损失。其平滑性有助于稳定训练，而对异常值的稳健性在真实框可能包含噪声时尤为有益。
在强化学习中，Huber损失用于价值函数估计，特别是在DQN等算法中，以减少时间差分误差中异常值的影响。它也用于时间序列预测（数据可能包含异常值），以及任何数据集中存在异常值的回归问题。
在深度学习框架中的实现
Huber损失已在主流深度学习框架中实现。在PyTorch中，可通过torch.nn.HuberLoss或torch.nn.SmoothL1Loss使用。在TensorFlow中，可通过tf.keras.losses.Huber使用。这些实现允许指定delta参数。例如，在PyTorch中，nn.SmoothL1Loss(beta=1.0)设置 \( \delta = 1.0 \)。默认delta通常为1.0，但可根据残差的尺度进行调整。
调整Delta参数
\( \delta \) 的选择至关重要。如果 \( \delta \) 过大，损失行为类似MSE，失去稳健性。如果过小，则类似MAE，可能对较大误差惩罚不足并减慢收敛。常见做法是将 \( \delta \) 设置为与残差标准差成比例的值，或使用交叉验证。在深度学习中，\( \delta \) 通常默认设为1.0，但可根据具体问题调整。
扩展与变体
已提出多种Huber损失的变体。伪Huber损失是一种平滑近似，处处可微且无分段定义。其定义为 \( \delta^2 (\sqrt{1 + (r/\delta)^2} - 1) \)，当 \( \delta \) 变小时趋近于Huber损失。另一种变体是Fair损失，形式类似但使用不同的函数形式。这些变体用于稳健回归及某些深度学习应用。
结论
Huber损失是一种通用且稳健的损失函数，经受住了时间的考验。其平方误差与绝对误差的结合使其成为许多回归场景中的首选，尤其是在存在异常值时。其平滑性和凸性使其易于优化，且在主要框架中的实现确保了广泛采用。随着机器学习的持续发展，Huber损失仍是损失函数库中的基础工具。