对数损失，又称交叉熵损失，是一种用于概率分类任务的损失函数。它量化了预测概率分布与真实标签分布之间的差异。在机器学习中，训练期间最小化对数损失以改善模型的校准性和准确性。该函数对自信但错误的预测施加高惩罚，因此特别适用于需要概率输出的任务，例如神经网络分类器和大型语言模型。
在数学上，对于单个样本，其真实标签为 \(y \in \{0,1\}\)，预测概率为 \(p \in [0,1]\)，对数损失定义为 \(- [y \log(p) + (1-y) \log(1-p)]\)。对于多类问题，它推广为 \(- \sum_{c=1}^{C} y_c \log(p_c)\)，其中 \(C\) 是类别数。该函数在逻辑回归中是凸的，确保基于梯度的优化方法（如Adam优化器和随机梯度下降变体）收敛到全局最小值。
起源与理论基础
对数损失的概念源于信息论，特别是克劳德·香农在20世纪40年代提出的交叉熵概念。交叉熵衡量使用模型分布编码来自另一分布事件所需的平均比特数。在统计学习中，最小化对数损失等同于在概率模型下最大化观测数据的似然性。这一联系在20世纪50年代和60年代由统计学家（如伯纳德·威德罗）正式化，并将其应用于早期模式识别系统。
在机器学习的背景下，随着逻辑回归及后来的深度学习的兴起，对数损失成为分类的标准损失函数。其在训练神经网络中的使用在20世纪80年代和90年代得到普及，特别是与反向传播算法结合。如今，对数损失是现代AI系统中许多损失函数的基本组成部分。
在现代AI中的应用
对数损失在跨领域的监督分类任务中无处不在。在自然语言处理和大型语言模型中，例如由OpenAI和Google DeepMind开发的模型，对数损失在预训练期间用于预测序列中的下一个标记。例如，在基于Transformer的模型中，输出层应用softmax生成词汇表上的概率分布，训练目标是最小化这些预测与实际下一个标记之间的对数损失。
在计算机视觉中，对数损失用于图像分类和目标检测。例如，残差网络架构通常在对数损失的分类头中使用。此外，在医学影像中，使用对数损失训练的模型有助于从扫描中诊断疾病，其中校准概率对决策至关重要。
除了传统分类外，对数损失还用于排序和推荐系统，帮助优化点击率。在强化学习变体（如基于人类反馈的强化学习）中，对数损失可用于将模型输出与人类偏好对齐。
性质与优势
对数损失具有几个理想性质，使其优于平方误差等其他损失函数。首先，它是严格适当的，意味着最优预测是真实类别概率，这鼓励了良好校准的模型。其次，它提供平滑的梯度，便于通过梯度下降进行高效优化。第三，它严重惩罚自信的错误预测，这在安全关键应用中可能是有益的。
然而，对数损失对异常值敏感，可能被错误标记的样本主导。为缓解这一问题，提出了焦点损失等变体，其降低简单样本的权重。在实践中，使用标签平滑等技术来防止过度自信。
与其他损失函数的比较
对数损失常与支持向量机中使用的合页损失进行比较。合页损失侧重于最大化间隔，而对数损失提供概率解释，更适合需要置信度分数的任务。在回归任务中，均方误差很常见，但对数损失除非问题被框架为分类，否则不直接适用。
在多类设置中，对数损失等同于分类交叉熵。它也与Kullback-Leibler散度相关，后者衡量两个概率分布之间的差异。最小化对数损失等同于最小化真实分布与预测分布之间的KL散度。
实现与实用考虑
在实践中，对数损失在大多数深度学习框架（如TensorFlow和PyTorch）中实现。它通常与softmax激活函数结合使用，以确保预测概率之和为1。通过使用log-sum-exp技巧实现数值稳定性，以避免下溢或上溢。
在训练期间，对数损失通常通过小批量梯度下降进行最小化。学习率调度的选择会显著影响收敛。在优化对数损失时，通常使用丢弃和批归一化等正则化技术来防止过拟合。
对于二分类，对数损失可解释为伯努利分布的负对数似然。对于多分类，它是分类分布的负对数似然。这种概率基础使其成为输出概率模型的自然选择。
未来方向
随着AI模型变得更加复杂，对数损失仍然是训练目标的基石。然而，研究正在探索能够更好捕捉不确定性或对噪声标签更鲁棒的替代损失函数。例如，在生成式AI中，对数损失用于训练判别器和生成器，但也在研究Wasserstein损失等新目标。
在人工智能安全的背景下，确保模型良好校准至关重要。对数损失直接解决校准问题，使其成为开发可信AI系统的重要工具。截至2025年，对数损失仍然是学术界和工业界大多数分类任务的默认选择。