Aire sous la courbe ROC (AUC)

L'aire sous la courbe ROC (AUC) est une métrique de performance scalaire pour les modèles de classification binaire. Elle quantifie la capacité globale d'un modèle à discriminer entre les classes positives et négatives à travers tous les seuils de classification possibles. L'AUC est dérivée de la courbe caractéristique de fonctionnement du récepteur (ROC), qui trace le taux de vrais positifs(sensibilité) contre le taux de faux positifs(1 - spécificité) à différents réglages de seuil. La valeur de l'AUC varie de 0 à ​​1, où 0.5 indique une performance équivalente à une supposition aléatoire, et 1.0 représente une discrimination parfaite. En pratique, l'AUC est largement utilisée dans des domaines tels que apprentissage automatique, le diagnostic clinique, et la détection de signaux pour comparer et sélectionner des modèles indépendamment d'un seuil spécifique ou d'un contexte de coût

Le concept de la courbe ROC est né pendant la Seconde Guerre mondiale lorsque des ingénieurs électriques et radar l'ont développée pour évaluer la capacité des récepteurs à détecter des objets ennemis. Le terme « caractéristique de fonctionnement du récepteur » reflète cette origine. La courbe ROC a ensuite été adoptée en psychologie, en médecine, et dans d'autres disciplines. L'AUC est devenue une mesure de synthèse standard car elle réduit la courbe ROC à un seul nombre, facilitant la comparaison et la sélection de modèles

Définition Mathématique

Pour un classificateur binaire qui produit un score continu pour chaque instance, la courbe ROC est construite en variant le seuil de classification. À chaque seuil, le taux de vrais positifs(TPR) et le taux de faux positifs(FPR) sont calculés. L'AUC est l'intégrale de la courbe ROC sur le FPR de 0 à ​​1:

AUC = ∫₀¹ TPR(FPR) d(FPR)

De manière équivalente, l'AUC représente la probabilité qu'une instance positive choisie aléatoirement reçoive un score plus élevé qu'une instance négative choisie aléatoirement. Cette interprétation est connue sous le nom de statistique U de Mann-Whitney ou de test de somme de rangs de Wilcoxon, et elle fait de l'AUC une métrique basée sur les rangs qui est indépendante des valeurs absolues des scores

Interprétation et Propriétés

Les valeurs de l'AUC fournissent une mesure du pouvoir discriminatif du modèle. Une AUC de ​​0.5 indique que le modèle ne performe pas mieux que le hasard, correspondant à une courbe ROC qui se trouve le long de la ligne diagonale de non-discrimination. Une AUC de ​​1.0 indique une séparation parfaite des classes positives et négatives. Les valeurs entre 0.5 et ​​1.0 indiquent des degrés variables de capacité discriminative. Une AUC inférieure à ​​0.5 suggère que le modèle est pire que le hasard, mais dans de tels cas, inverser les prédictions du modèle peut produire un bon classificateur, car la courbe ROC est symétrique autour du point(0.5, 0.5).

L'AUC est particulièrement utile car elle est indépendante du seuil. Contrairement à des métriques telles que la précision ou le score F1, qui nécessitent qu'un seuil spécifique soit choisi, l'AUC évalue le modèle à travers tous les seuils possibles. Cela en fait une mesure robuste pour comparer des modèles lorsque le seuil optimal est inconnu ou lorsque les distributions de classes sont déséquilibrées. Cependant, l'AUC ne fournit pas d'informations sur la performance du modèle à un point de fonctionnement spécifique, et elle peut être trop optimiste si les courbes ROC de deux modèles se croisent

Relation avec l'Analyse ROC

L'analyse ROC fournit des outils pour sélectionner des modèles optimaux et éliminer des modèles sous-optimaux indépendamment du contexte de coût ou de la distribution de classes. La courbe ROC elle-même est une représentation graphique du compromis entre les vrais positifs(bénéfices) et les faux positifs(coûts).. L'AUC résume ce compromis en un seul nombre. En épidémiologie clinique, l'analyse ROC est couramment utilisée pour évaluer la performance des tests diagnostiques. L'AUC d'un test diagnostique indique sa capacité à distinguer entre les individus malades et non malades. Par exemple, une AUC de ​​0.8 suggère que 80% du temps, un individu malade sélectionné aléatoirement aura un résultat de test plus élevé qu'un individu non malade sélectionné aléatoirement

Calcul et Estimation

En pratique, l'AUC est estimée à partir d'un échantillon fini de données. Étant donné un ensemble de scores prédits pour des instances positives et négatives, l'AUC peut être calculée en utilisant la formule basée sur les rangs:

AUC =(Σᵢ₌₁ⁿ⁺ (rᵢ - i)) / (n⁺ * n⁻)

où n⁺ et n⁻ sont les nombres d'instances positives et négatives, et rᵢ sont les rangs des instances positives dans la liste triée combinée. Alternativement, la règle trapézoïdale peut être appliquée à la courbe ROC empirique. De nombreuses bibliothèques logicielles, y compris celles en python et R, fournissent des fonctions intégrées pour le calcul de l'AUC

Applications en Apprentissage Automatique

L'AUC est extensivement utilisée en apprentissage automatique pour l'évaluation et la sélection de modèles. Elle est particulièrement répandue dans les tâches de classification binaire telles que la détection de spam, la détection de fraude, le diagnostic médical, et le scoring de crédit. Dans ces domaines, les distributions de classes sont souvent déséquilibrées, et l'AUC fournit une mesure plus fiable que la précision car elle est insensible au déséquilibre de classes. L'AUC est également utilisée dans le réglage des hyperparamètres, la sélection de caractéristiques, et la comparaison de modèles. Par exemple, en apprentissage profond et en réseau de neurones recherche, l'AUC est souvent rapportée aux côtés d'autres métriques pour démontrer la performance du modèle

L'AUC est également utilisée dans les problèmes de classement, où l'objectif est d'ordonner des instances par probabilité d'appartenance à la classe positive. Dans de tels cas, l'AUC mesure directement la qualité du classement. Cela a conduit à son adoption dans la récupération d'informations et les systèmes de recommandation

Limitations et Considérations

Malgré sa popularité, l'AUC a des limitations. Elle ne reflète pas la calibration du modèle - c'est-à-dire, la précision des probabilités prédites. Deux modèles avec la même AUC peuvent avoir des sorties de probabilité très différentes. L'AUC suppose également que les coûts des faux positifs et des faux négatifs sont égaux, ce qui est rarement vrai dans les applications du monde réel. Lorsque les coûts sont inégaux, une métrique spécifique au seuil telle que les courbes de précision-rappel ou les courbes de coût peut être plus appropriée. De plus, l'AUC peut être trompeuse lorsque les courbes ROC se croisent, car un modèle avec une AUC plus élevée peut performer moins bien dans certaines régions de l'espace ROC

Une autre considération est que l'AUC est une mesure globale et n'indique pas où le modèle performe bien ou mal. Par exemple, un modèle peut avoir une AUC élevée mais une mauvaise performance à de faibles taux de faux positifs, ce qui pourrait être critique dans des applications comme la détection de fraude où les faux positifs sont coûteux

Extensions et Alternatives

Le concept de l'AUC a été étendu aux problèmes de classification multi-classes. Une approche consiste à calculer l'AUC pour chaque classe contre toutes les autres(one-vs-rest) et à les moyenner. Une autre est d'utiliser le volume sous la surface ROC pour les problèmes multi-classes. En outre, la courbe de précision-rappel et son aire sous la courbe(PR-AUC) sont souvent utilisées comme alternatives, surtout pour les ensembles de données hautement déséquilibrés. La PR-AUC se concentre sur la classe positive et est plus sensible aux améliorations du rappel

Ces dernières années, l'AUC a été incorporée dans les fonctions de perte pour l'entraînement des modèles. Par exemple, l'optimisation de l'AUC a été utilisée en grand modèle de langage fine-tuning et dans d'autres applications IA générative pour optimiser directement la performance de classement. Cependant, parce que l'AUC est non différentiable, des pertes de substitution sont souvent employées

Contexte Historique

La courbe ROC a été développée pour la première fois pendant la Seconde Guerre mondiale(à partir de ​​1941) pour la détection de signaux radar. Elle a ensuite été introduite en psychologie pour modéliser la détection perceptuelle. Dans les années 1970 et ​​1980, l'analyse ROC est devenue largement utilisée en médecine et en radiologie. L'AUC comme mesure de synthèse a gagné en importance avec la montée de l'apprentissage automatique dans les années 1990 et ​​2000. Des chercheurs tels que Thomas-Dietterich et Michael-Jordan ont contribué à la compréhension statistique de l'évaluation des classificateurs, et l'AUC est devenue une métrique standard dans le domaine

Voir Aussi

• apprentissage automatique
• réseau de neurones
• apprentissage profond
• intelligence artificielle
• IA générative
• grand modèle de langage
• transformeur
• OpenAI
• Google DeepMind
• Anthropic

Références

• Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874.
• Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic(ROC) curve. Radiology, 143(1), 29-36.

• Bradley, A. P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern Recognition, 30(7),, 1145-1159.