期望校准误差（ECE）是一种用于量化模型置信度预测校准误差的指标。在分类任务中，校准良好的模型应使其预测概率（置信度）与实际正确频率相匹配。例如，在所有模型分配80%置信度的预测中，大约80%应该正确。ECE通过计算预测分箱中置信度与准确率之间绝对差异的加权平均值，提供一个单一标量值，值越低越好。
ECE在高风险应用中尤为重要，例如机器学习和人工智能，其中过度自信或自信不足的预测可能导致决策失误。它广泛用于评估神经网络分类器，包括深度学习模型和大型语言模型，这些模型因过拟合或复杂架构的使用，校准效果往往较差。
正式定义
ECE通过将预测按置信度分数分为M个等距分箱来计算。对于每个分箱B_m，计算平均置信度（conf）和平均准确率（acc）。ECE则是这些平均值之间绝对差异的加权和，权重与每个分箱中的样本数量成正比。公式为：ECE = sum_{m=1}^{M} (|B_m| / N) * |acc(B_m) - conf(B_m)|，其中N是样本总数。此公式确保样本较多的分箱对总体误差贡献更大。
分箱数M的选择是一个超参数，实践中通常设为10或15。已提出替代分箱策略（如自适应分箱或核密度估计）以减少对分箱宽度的敏感性，但固定宽度分箱因其简单性和可解释性仍是标准方法。
机器学习中的校准
校准与准确率是不同概念。模型可能高度准确但校准不良，如果其置信度分数不能反映真实概率。例如，一个在图像分类上训练的残差网络可能达到95%的准确率，但对许多正确预测分配99%的置信度，对错误预测分配70%的置信度，导致较高的ECE。相反，准确率较低的模型如果每个分箱中置信度与准确率匹配，则可能完美校准。
现代深度学习模型，尤其是使用交叉熵等损失函数训练的模型，往往过于自信。这一现象在2017年Chuan Guo及其同事的研究中被系统记录，表明更深的架构和更高的准确率往往与更差的校准相关。该研究还引入了温度缩放作为事后校准方法，至今仍是流行基线。
与其他指标的关系
ECE是几种校准指标之一。Brier分数衡量预测概率与二元结果之间的均方误差，结合了校准和细化。可靠性图是一种可视化工具，绘制准确率对置信度的关系，提供校准误差的定性视图。ECE将可靠性图总结为单一数字，便于比较模型，但会丢失校准方向信息（过度自信与自信不足）。
另一个相关指标是最大校准误差（MCE），它取各分箱绝对差异的最大值而非加权平均值。当最坏情况下的校准至关重要时（如安全敏感应用），MCE很有用。然而，ECE因其对离群值的鲁棒性，在研究论文中更常被报告。
在大型语言模型中的应用
随着生成式人工智能和大型语言模型的兴起，ECE已被调整用于评估自然语言处理任务中的校准。像OpenAI、Anthropic和Google DeepMind开发的模型通常产生词元级概率，可聚合形成答案的置信度分数。然而，这些模型的校准具有挑战性，因为其训练目标并未明确鼓励校准良好的概率，且输出空间庞大。
近期研究表明，大型语言模型在回答中往往过度自信，尤其是在事实性问答任务中。研究人员提出了改进校准的方法，如使用校准感知目标进行微调，或使用AI反馈强化学习使置信度与正确性对齐。ECE在这些研究中经常作为评估指标使用，与人工评估和其他概率指标并列。
校准方法
存在几种降低ECE的技术。温度缩放是一种后处理方法，在应用softmax之前将logits除以学习到的温度参数。它不会改变模型的预测，但会调整置信度分布。其他后处理方法包括top-p采样和top-k采样，这些主要用于生成但也能通过改变概率分布影响校准。
训练中的方法包括在损失函数中添加惩罚校准误差的正则化项，或通过批归一化和丢弃以间接改善校准。标签平滑是另一种常用技术，它软化目标分布，通常以略微降低准确率为代价带来更好的校准。对于神经网络，权重初始化和学习率调度也可能影响校准，但效果较间接。
局限性与批评
ECE存在已知局限性。分箱的选择会显著影响报告的值，不同分箱数可能导致不同结论。此外，ECE对置信度分布敏感；如果大多数预测落入单个分箱，该指标变得不太信息量。一些研究人员提出了替代指标，如按类别的ECE或静态校准误差，以解决这些问题，但尚未广泛采纳。
另一个批评是ECE对所有错误一视同仁，无论分类错误的代价如何。在医疗诊断或自动驾驶等应用中，罕见但关键类别的校准不良可能比常见错误更有害。ECE无法捕捉这种不对称性，因此实践者常补充领域特定指标。
实际考虑
报告ECE时，指定分箱数和计算准确率的方法很重要。对于多类问题，ECE通常通过将每个类别视为二元问题并取平均，或使用跨类别的最大置信度来计算。实践中，scikit-learn和PyTorch等许多库提供内置的ECE计算函数，但实现可能略有不同，因此比较结果时应谨慎。
ECE还用于模型选择和监控。例如，在谷歌云和AWS的机器学习管道中，可跟踪ECE随时间的变化以检测模型校准的漂移。同样，在Azure和Oracle Cloud部署中，校准指标用于确保模型在数据分布变化时保持可信。
未来方向
校准研究仍在继续，尤其是在基于Transformer和多头注意力的模型中。新方法旨在提供校准保证，如共形预测，它产生具有指定覆盖概率的预测集。这些方法补充了ECE，可能提供更稳健的置信度估计。
随着人工智能系统在更多关键领域部署，像ECE这样的校准指标的重要性将持续增长。开发标准化基准和报告实践将有助于确保模型不仅在准确率上表现良好，而且其置信度也可靠。