损失函数，又称代价函数或目标函数，是衡量模型预测输出与真实目标值之间差异的数学表达式。在机器学习中，这些函数产生一个标量误差值，用于量化模型在给定数据点或批次上的表现。训练过程中的优化步骤会迭代调整模型参数以最小化该损失，因此损失函数的选择成为直接影响学习动态和最终模型行为的关键设计决策。
损失函数的概念早于现代深度学习，其根源可追溯至经典统计学和优化理论。早期线性回归工作采用平方误差损失，而逻辑回归引入了类似交叉熵的目标函数。损失函数作为学习算法核心组成部分的正式化，在20世纪80年代和90年代通过反向传播训练神经网络的发展而得到凸显，其中伯纳德·威德罗等研究者为自适应信号处理和误差最小化技术做出了贡献。
回归损失
对于连续目标预测任务，均方误差（MSE）是最广泛使用的损失函数之一。MSE计算预测值与真实值之间差异的平方平均值，对较大误差给予不成比例的惩罚。其数学简单性和可微性使其成为许多回归问题的默认选择，尽管其对异常值的敏感性在噪声数据集中可能带来问题。
平均绝对误差（MAE）提供了一种替代方案，对所有误差进行线性处理，对异常值具有鲁棒性，但在零点的梯度不光滑。Huber损失结合了MSE和MAE的特性，对小误差呈二次行为，对大误差呈线性行为，由delta参数控制。这种混合方法在稳健回归场景中常被优先采用。
分类损失
交叉熵损失，又称对数损失，是分类任务的标准目标函数。对于二分类，它衡量预测概率分布与真实标签之间的散度。该函数对高置信度的错误预测给予重罚，鼓励模型输出校准良好的概率。在多类设置中，分类交叉熵将其扩展到多个类别，通常与最后一层的softmax激活函数配合使用。
铰链损失，为支持向量机开发，提供了一种基于间隔的替代方案，专注于最大化决策边界距离。与交叉熵不同，铰链损失不需要概率输出，且对分类正确的样本不太敏感，在某些设置中计算效率更高。平方铰链损失等变体修改了惩罚结构以实现更平滑的优化。
对比损失和排序损失
对比损失函数专为相似性学习任务设计，如人脸验证或国际象棋计算机局面评估。这些损失作用于样本对或三元组，将相似项拉近，同时将不相似项推远。三元组损失在人脸识别研究中得到推广，使用锚点样本、正样本和负样本，优化嵌入空间中的相对距离。
排序损失将此概念扩展到有序列表，常用于信息检索和推荐系统。成对排序损失比较正负项的相对顺序，而LambdaRank等列表级方法优化整个排序列表。这些函数在亚马逊网络服务产品搜索和其他大规模检索系统中尤为相关。
自定义和任务特定损失
许多领域需要针对特定目标定制的损失函数。在生成式人工智能中，生成对抗网络的对抗损失使生成器与判别器相互对抗，形成极小极大优化问题。感知损失，为图像生成引入，比较预训练网络的高层特征表示而非原始像素，从而产生更美观的结果。
对于大型语言模型训练，下一个词元预测通常使用词汇分布上的交叉熵损失。然而，基于人类反馈的强化学习引入了偏好损失，使模型输出与人类判断对齐。OpenAI和Anthropic等公司采用这些目标的变体来微调模型，以提高有用性和安全性。
损失函数性质与选择
损失函数的理论性质影响其实际效果。凸性确保优化中的全局最优性，尽管现代深度网络在非凸景观中运行。可微性是梯度方法所必需的，次梯度方法处理铰链损失等非光滑函数。一致性性质涉及最小化替代损失是否能在分类中实现最优贝叶斯误差。
损失函数的选择取决于任务特征、数据分布和模型架构。对于不平衡数据集，加权变体或焦点损失（降低简单样本的权重）可以改善性能。在多任务学习中，组合损失需要仔细加权以平衡竞争目标。实践者经常尝试多种损失函数，因为选择会显著影响收敛速度和最终精度。
优化与损失景观
损失函数与优化算法之间的交互塑造了损失景观。迈克尔·乔丹及其同事研究了不同损失如何影响梯度动态和泛化能力。损失函数的曲率影响学习率选择和Adam等自适应优化器的有效性。平坦极小值通常与更好的泛化相关，可以通过锐度感知最小化等损失修改来促进。
正则化项经常添加到损失函数中以防止过拟合。L1和L2正则化惩罚大权重，而dropout作为随机正则化器。这些添加修改了有效损失景观，在训练误差和模型复杂度之间进行权衡。
近期发展
现代研究探索了包含不确定性的损失函数，如异方差回归损失，在预测均值的同时预测方差。在Transformer架构中，损失函数已适应序列到序列任务，包括标签平滑以防止过度自信。谷歌DeepMind和其他研究实验室研究了用于自监督学习的对比损失，使模型无需显式标签即可学习表示。
损失函数设计仍是一个活跃的研究领域，理论工作将损失选择与泛化界限联系起来，实践创新则源于工业应用。神经架构搜索等非可微目标的可微近似的发展，继续扩展设计空间。随着人工智能系统日益复杂，损失函数在塑造模型行为和能力方面的作用，在研究和部署中变得越来越核心。