损失函数，也称代价函数或目标函数，是一种数学函数，用于衡量模型预测值与它试图匹配的真实目标值之间的差异。在几乎所有情况下，训练机器学习模型的过程就是调整其参数以使该函数的输出尽可能小，通常借助通过反向传播计算出的梯度，并由梯度下降引导。
常见形式
对于回归任务（目标为连续数值），均方误差（即预测值与目标值之差的平方的平均值）是最广泛使用的损失，它对较大误差的惩罚不成比例地高于较小误差。对于分类任务，交叉熵损失（有时称为对数损失）衡量预测的类别概率分布与真实分布之间的差异，是从图像分类到下一个词元预测等问题的标准选择。大型语言模型几乎完全使用在每个词元位置应用的交叉熵损失进行训练，这实际上是在要求模型在每一步都尽可能为训练文本中的真实下一个词元分配高概率。其他损失则服务于专门目的：铰链损失用于基于间隔的分类器（如支持向量机）；对比损失和三元组损失用于学习嵌入，使相似项在潜在空间中彼此靠近；对抗损失则利用第二个网络区分真实数据与生成数据的能力，作为生成对抗网络中生成器的损失。
损失与实际目标之间的差距
机器学习中一个反复出现的主题是损失函数（模型在数学上被优化以最小化的对象）与实际下游目标（通常更难精确指定）之间的差距。一个纯粹以最小化下一个词元交叉熵损失训练的大型语言模型能够流畅地续写文本，但没有明确的激励去保持诚实、有用或安全；这些属性是通过额外目标（如基于人类反馈的强化学习）事后添加的，其中学习到的奖励模型提供了由人类偏好塑造的进一步损失信号。当模型找到一种在其损失函数或相关代理指标上得分很高、却并未真正实现预期目标的方法时，这种结果被称为奖励黑客，随着模型获得更多自主性和更好的优化能力，这种失败模式变得愈发重要。
损失与泛化
损失函数通常在训练集（模型直接从中学习）和留出的验证集（用于估计模型在新数据上的表现）上同时评估。训练损失与验证损失之间持续存在的大差距是过拟合的典型标志，此时模型实际上记住了训练数据的细节，而非学习可泛化的模式。归入正则化的技术，如直接加入损失函数的权重惩罚、丢弃法以及基于验证损失的早停法，是控制这一差距的标准工具。由于深度网络的损失景观是极高维的，损失函数的具体形状（而不仅仅是其最终值）会实质性地影响模型训练的难易程度，这推动了关于损失景观平滑性及其与归一化层、残差连接等架构选择之间关系的研究。