机器学习中的校准指的是模型预测概率与其预测事件实际观测频率之间的匹配程度。一个完美校准的模型是，对于所有被赋予例如0.8置信度的预测，该事件在80%的情况下确实发生。这一属性与准确性不同：一个模型可以高度准确但校准不佳，反之亦然。校准是任何使用概率输出进行决策、风险评估或不确定性沟通的系统（尤其是在医学、金融和自动驾驶等领域）的关键质量指标。
这一概念在统计学和气象学中有着深厚的根源，在这些领域中，概率预报长期以来一直是标准做法。在Machine learning的背景下，随着模型从产生简单的类别标签转向生成概率估计，校准的重要性日益凸显，尤其是在Deep learning和Neural network架构兴起之后。现代的Large language model和其他生成式系统也面临校准挑战，因为它们的词元级概率往往不能反映事实正确性或用户满意度的真实可能性。
校准曲线与指标
可视化校准的主要工具是可靠性图，也称为校准曲线。该图根据预测的置信度将预测划分为多个区间（例如，0.0-0.1，0.1-0.2，...），然后绘制每个区间内平均预测概率与正结果经验频率的关系图。一个完美校准的模型会产生一条从（0,0）到（1,1）的对角线。偏离这条对角线表明过度自信（点位于线下方，即预测概率超过实际频率）或自信不足（点位于线上方）。
有几个标量指标用于量化校准误差。最常见的是期望校准误差（ECE），它计算各区间准确性与置信度之间绝对差的加权平均值。一个相关指标，最大校准误差（MCE），关注最差情况下的区间偏差，这对于安全关键应用尤为重要，因为单个过度自信的预测可能是灾难性的。另一个指标，布里尔分数，可分解为校准和细化部分，提供对概率预测质量的全面评估。
校准不佳的原因
校准不佳源于现代机器学习固有的几个因素。过参数化模型，如深度神经网络，往往过度自信，因为它们可以记忆训练数据并拟合噪声，导致预测概率过于极端。使用交叉熵等损失函数会促使输出接近0或1，加剧了这一效应。此外，Data Augmentation技术和Batch Normalization可能扭曲logits的分布，进一步降低校准质量。
另一个重要原因是分布偏移。一个在其训练分布上校准良好的模型，在部署到不同分布的数据时可能会变得校准不佳，这是现实世界应用中的常见情况。例如，一个在历史金融数据上训练的模型在市场制度变化期间可能校准不佳。模型架构的复杂性也起作用；Residual Network (ResNet)和Transformer (architecture)基模型通常表现出与更简单架构不同的校准特性。
校准方法
已经开发了多种事后和训练时方法来改善校准。最广泛使用的事后技术是Temperature Scaling，它引入一个标量参数T，在应用softmax函数之前除以logits。该参数在验证集上优化以最小化负对数似然。温度缩放简单、有效，并且不改变模型的预测类别，只改变其置信度。它已成为校准研究中的标准基线。
其他事后方法包括Platt缩放，它对logits拟合逻辑回归模型，以及等渗回归，一种非参数方法，学习从预测概率到经验频率的单调映射。这些方法比温度缩放更灵活，但需要更多数据，如果未正则化可能过拟合。对于多类问题，矩阵缩放和向量缩放通过学习logit向量的完整或对角变换来扩展这些思想。
训练时方法将校准整合到学习过程中。一种这样的方法是标签平滑，它用软目标替换硬0/1标签，防止模型变得过度自信。另一种是焦点损失，它降低分类良好样本的权重，鼓励模型专注于更难的情况，并产生校准更好的概率。权重衰减和Dropout等正则化技术也通过减少过拟合间接改善校准。
大型语言模型中的校准
Large language model提出了独特的校准挑战。这些模型逐词元生成文本，分配给单个词元的概率并不直接对应于生成响应事实准确性的置信度。例如，模型可能对形成连贯但事实错误的陈述的词元序列赋予高概率。这种现象通常被称为“幻觉”，与校准不佳密切相关。
研究人员探索了各种校准LLM的方法，包括要求模型用自然语言表达其置信度（例如，“我90%确定”），然后将这些口头表达的置信度映射到经验准确性。其他方法涉及在校准目标上进行微调或使用模型集成以获得更可靠的不确定性估计。然而，LLM中的校准仍然是一个开放的研究问题，因为词元概率与语义正确性之间的关系复杂且尚未完全理解。
应用与重要性
在高风险领域，校准至关重要，这些领域的决策基于模型置信度。在医学诊断中，预测疾病概率为90%的模型必须在90%的情况下正确；否则，临床医生可能会被误导。在自动驾驶中，对障碍物存在过度自信的感知系统可能导致制动不足。在金融领域，校准的概率估计对于风险管理和投资组合优化至关重要。
在强化学习和顺序决策中，价值估计和行动概率的校准影响探索-利用权衡。在主动学习中，模型选择要标记的数据点，校准的不确定性估计用于识别最具信息量的示例。类似地，在Model Pruning和模型压缩中，校准有助于在减小模型大小后保持可靠的置信度估计。
与其他概念的关系
校准与不确定性量化的其他概念密切相关但有所不同。偶然不确定性指数据中的固有随机性，而认知不确定性源于对模型参数知识的缺乏。校准是整体预测分布的一个属性，结合了两种类型的不确定性。即使模型没有分别分解这些不确定性来源，它也可以是良好校准的。
校准还与公平性和鲁棒性相互作用。一个整体校准良好的模型可能对特定子群体校准不佳，导致有偏见的决策。例如，人脸识别系统可能对一个人口统计群体校准良好，但对另一个群体过度自信。确保跨子群体的校准是一个活跃的研究领域，通常称为“群体校准”。
评估与最佳实践
在实践中，评估校准需要一个代表部署分布的保留数据集。从业者应报告校准指标和准确性，因为两者对模型质量都很重要。部署模型时，建议应用温度缩放等事后校准方法，因为它们计算成本低，并且可以随着新数据的到来而更新。
还需注意，校准不是静态属性。随着数据分布的变化，模型可能随时间变得校准不佳，因此需要持续监控。在线校准等技术，即实时更新校准参数，可以帮助在动态环境中保持可靠性。
未来方向
校准研究持续发展，最近的工作集中在结构化输出（如序列和图）的校准，以及数据分布在多个设备上的联邦学习环境中的校准。开发对分布偏移鲁棒且可扩展到非常大模型的校准方法仍然是一个开放挑战。随着Artificial intelligence系统更深入地融入社会，良好校准的不确定性估计的重要性只会增长，使校准成为机器学习中的一个基础研究领域。
参考文献与进一步阅读
如需全面介绍，Chuan Guo等人（2017年）的开创性论文“On Calibration of Modern Neural Networks”提供了深入分析并引入了温度缩放。Ali Rahimi及其同事关于“Calibration and Sharpness”的工作提供了理论见解。对于实践指导，scikit-learn文档中关于概率校准的内容是有用资源。该领域继续产生新方法和见解，从业者必须跟上文献的最新进展。
结论
校准是概率机器学习模型的基本属性，确保置信度分数是可信的。它与准确性不同，需要专门的方法进行测量和改进。从简单的事后缩放到复杂的训练时目标，存在多种技术来实现良好的校准。随着模型能力和部署的增长，追求可靠的不确定性估计仍然是负责任AI发展的基石。