ROC曲线下面积（AUC）是用于二分类模型的标量性能指标。它量化了模型在所有可能的分类阈值下区分正类和负类的整体能力。AUC源自接收者操作特征（ROC）曲线，该曲线在不同阈值设置下绘制真正率（灵敏度）与假正率（1 - 特异度）的关系。AUC值范围从0到1，其中0.5表示性能等同于随机猜测，1.0表示完美区分。在实践中，AUC广泛应用于机器学习、临床诊断和信号检测等领域，用于在独立于特定阈值或成本背景的情况下比较和选择模型。
ROC曲线的概念起源于第二次世界大战期间，当时电气和雷达工程师开发了它来评估接收器检测敌方目标的能力。术语“接收者操作特征”反映了这一起源。ROC曲线后来被心理学、医学和其他学科采用。AUC成为标准汇总度量，因为它将ROC曲线简化为单一数值，便于模型比较和选择。
数学定义
对于输出每个实例连续分数的二分类器，ROC曲线通过改变分类阈值来构建。在每个阈值下，计算真正率（TPR）和假正率（FPR）。AUC是ROC曲线在FPR从0到1上的积分：
AUC = ∫₀¹ TPR(FPR) d(FPR)
等价地，AUC表示随机选择的正实例获得比随机选择的负实例更高分数的概率。这种解释被称为Mann-Whitney U统计量或Wilcoxon秩和检验，它使AUC成为一种基于秩的度量，独立于绝对分数值。
解释与性质
AUC值提供了模型判别能力的度量。AUC为0.5表示模型性能不优于随机机会，对应于沿无判别对角线的ROC曲线。AUC为1.0表示正类和负类的完美分离。0.5到1.0之间的值表示不同程度的判别能力。AUC低于0.5表明模型比随机更差，但在这种情况下，反转模型的预测可以产生良好的分类器，因为ROC曲线关于点（0.5， 0.5）对称。
AUC特别有用，因为它与阈值无关。与准确率或F1分数等需要选择特定阈值的度量不同，AUC在所有可能的阈值下评估模型。这使得它成为在最优阈值未知或类别分布不平衡时比较模型的稳健度量。然而，AUC不提供模型在特定操作点性能的信息，并且如果两个模型的ROC曲线交叉，它可能过于乐观。
与ROC分析的关系
ROC分析提供了独立于成本背景或类别分布来选择最优模型和丢弃次优模型的工具。ROC曲线本身是真正率（收益）与假正率（成本）之间权衡的图形表示。AUC将此权衡汇总为单一数值。在临床流行病学中，ROC分析常用于评估诊断测试的性能。诊断测试的AUC表示其区分患病和非患病个体的能力。例如，AUC为0.8表明，在80%的情况下，随机选择的患病个体将具有比随机选择的非患病个体更高的测试结果。
计算与估计
在实践中，AUC从有限数据样本中估计。给定一组正实例和负实例的预测分数，可以使用基于秩的公式计算AUC：
AUC = (Σᵢ₌₁ⁿ⁺ (rᵢ - i)) / (n⁺ * n⁻)
其中n⁺和n⁻分别是正实例和负实例的数量，rᵢ是正实例在合并排序列表中的秩。或者，可以将梯形规则应用于经验ROC曲线。许多软件库，包括python和R中的库，提供用于AUC计算的内置函数。
在机器学习中的应用
AUC广泛用于机器学习中的模型评估和选择。它特别常见于垃圾邮件检测、欺诈检测、医学诊断和信用评分等二分类任务中。在这些领域中，类别分布通常不平衡，AUC提供了比准确率更可靠的度量，因为它对类别不平衡不敏感。AUC也用于超参数调优、特征选择和模型比较。例如，在深度学习和神经网络研究中，AUC通常与其他度量一起报告以展示模型性能。
AUC也用于排序问题，其中目标是根据属于正类的概率对实例进行排序。在这种情况下，AUC直接衡量排序质量。这导致其在信息检索和推荐系统中的采用。
局限性与考虑因素
尽管AUC广受欢迎，但它有局限性。它不反映模型的校准，即预测概率的准确性。具有相同AUC的两个模型可以具有非常不同的概率输出。AUC还假设假正和假负的成本相等，这在现实应用中很少成立。当成本不相等时，诸如精确率-召回率曲线或成本曲线等阈值特定度量可能更合适。此外，当ROC曲线交叉时，AUC可能具有误导性，因为具有较高AUC的模型可能在ROC空间的某些区域表现更差。
另一个考虑因素是AUC是全局度量，不指示模型在何处表现良好或较差。例如，模型可能具有高AUC但在低假正率下性能较差，这在欺诈检测等假正成本高昂的应用中可能至关重要。
扩展与替代方案
AUC的概念已扩展到多类分类问题。一种方法是计算每个类相对于所有其他类（一对多）的AUC并取平均值。另一种是使用多类问题的ROC曲面下体积。此外，精确率-召回率曲线及其曲线下面积（PR-AUC）通常用作替代方案，特别是对于高度不平衡的数据集。PR-AUC关注正类，并且对召回率的改进更敏感。
近年来，AUC已被纳入训练模型的损失函数中。例如，AUC优化已用于大语言模型微调和其他生成式AI应用中，以直接优化排序性能。然而，由于AUC不可微，通常采用替代损失。
历史背景
ROC曲线最初在第二次世界大战期间（从1941年开始）为雷达信号检测而开发。后来被引入心理学以建模感知检测。在1970年代和1980年代，ROC分析在医学和放射学中得到广泛应用。AUC作为汇总度量随着1990年代和2000年代机器学习的兴起而获得突出地位。诸如Thomas-Dietterich和Michael-Jordan等研究人员对分类器评估的统计理解做出了贡献，AUC成为该领域的标准度量。
参见
参考文献
- Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874.
- Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36.
- Bradley, A. P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern Recognition, 30(7), 1145-1159.