Une courbe caractéristique de fonctionnement du récepteur, ou courbe ROC, est un tracé graphique qui illustre la performance d'un modèle de classification binaire à différentes valeurs de seuil. Bien qu'elle puisse être généralisée à plusieurs classes, elle est le plus souvent appliquée aux problèmes de classification binaire. L'analyse ROC est fréquemment utilisée dans l'évaluation de la performance des tests diagnostiques en épidémiologie clinique, ainsi qu'en apprentissage automatique, en radiologie, en biométrie et en prévision. La courbe offre une vue complète du compromis entre sensibilité et spécificité à travers tous les seuils de classification possibles, permettant la comparaison de modèles sans spécifier un point de fonctionnement particulier.
La courbe ROC est le tracé du taux de vrais positifs (TPR) en fonction du taux de faux positifs (FPR) à chaque réglage de seuil. Le taux de vrais positifs, également connu sous le nom de sensibilité ou probabilité de détection, mesure la proportion de positifs réels correctement identifiés. Le taux de faux positifs, également connu sous le nom de probabilité de fausse alarme, est égal à 1 moins la spécificité et mesure la proportion de négatifs réels incorrectement classés comme positifs. La courbe peut également être interprétée comme un tracé de la puissance statistique en fonction de l'erreur de type I de la règle de décision. Lorsque les distributions de probabilité pour les résultats vrais positifs et faux positifs sont connues, la courbe ROC est obtenue comme la fonction de distribution cumulative de la probabilité de détection sur l'axe des y par rapport à la fonction de distribution cumulative de la probabilité de faux positifs sur l'axe des x.
L'analyse ROC fournit des outils pour sélectionner des modèles potentiellement optimaux et pour écarter les modèles sous-optimaux, indépendamment du contexte de coût ou de la distribution des classes, et avant de les spécifier. Elle est liée de manière directe et naturelle à l'analyse coût/bénéfice de la prise de décision diagnostique. L'aire sous la courbe ROC (AUC) est une valeur scalaire unique qui résume la performance globale d'un classifieur, avec des valeurs proches de 1 indiquant une meilleure discrimination et 0,5 indiquant une performance équivalente à un choix aléatoire.
Terminologie
Le taux de vrais positifs est également connu sous le nom de sensibilité, rappel ou probabilité de détection. Le taux de faux positifs est également connu sous le nom de probabilité de fausse alarme et est égal à 1 moins la spécificité. La courbe ROC est également connue sous le nom de courbe caractéristique de fonctionnement relative, car elle compare deux caractéristiques de fonctionnement (TPR et FPR) lorsque le critère change. Dans certains domaines, la courbe est appelée tracé de la sensibilité en fonction de (1 moins la spécificité). Les termes « positif » et « négatif » désignent les étiquettes de classe prédites, tandis que « vrai » et « faux » indiquent si la prédiction correspond à la vérité terrain réelle.
Histoire
La courbe ROC a été développée pour la première fois par des ingénieurs électriciens et des ingénieurs radar pendant la Seconde Guerre mondiale pour détecter les objets ennemis sur les champs de bataille, à partir de 1941. Cette origine a conduit à son nom, « caractéristique de fonctionnement du récepteur », car elle décrivait les caractéristiques de fonctionnement des récepteurs radar. La technique a rapidement été introduite en psychologie pour expliquer la détection perceptive des stimuli, en particulier dans la théorie de la détection du signal. Au cours des décennies suivantes, l'analyse ROC a été adoptée en médecine, en radiologie, en biométrie, en prévision des risques naturels, en météorologie et dans l'évaluation de la performance des modèles. Ces dernières années, elle est devenue de plus en plus utilisée dans la recherche en apprentissage automatique et en fouille de données comme outil standard pour évaluer les modèles de classification.
Concept de base
Un modèle de classification est une application qui mappe des instances à certaines classes ou groupes. La sortie du classifieur peut être une valeur réelle arbitraire, nécessitant un seuil pour déterminer la frontière de classe, ou elle peut être une étiquette de classe discrète. Considérons un problème de prédiction à deux classes où les résultats sont étiquetés comme positifs (p) ou négatifs (n). Quatre résultats possibles découlent d'un classifieur binaire : un vrai positif (TP) se produit lorsque la prédiction est p et la valeur réelle est p ; un faux positif (FP) se produit lorsque la prédiction est p mais la valeur réelle est n ; un vrai négatif (TN) se produit lorsque la prédiction et la valeur réelle sont toutes deux n ; et un faux négatif (FN) se produit lorsque la prédiction est n mais la valeur réelle est p.
Par exemple, dans un test diagnostique pour une maladie, un faux positif se produit lorsqu'une personne est testée positive mais n'a pas réellement la maladie. Un faux négatif se produit lorsqu'une personne est testée négative mais a réellement la maladie. Ces quatre résultats peuvent être organisés dans un tableau de contingence 2x2, également connu sous le nom de matrice de confusion, qui constitue la base pour calculer diverses métriques d'évaluation.
Espace ROC
L'espace ROC est défini par le taux de faux positifs sur l'axe des x et le taux de vrais positifs sur l'axe des y. Cette représentation graphique illustre les compromis relatifs entre les vrais positifs (bénéfices) et les faux positifs (coûts). Chaque résultat de prédiction ou instance d'une matrice de confusion représente un point dans l'espace ROC. La meilleure méthode de prédiction possible donnerait un point dans le coin supérieur gauche, aux coordonnées (0,1), représentant 100 % de sensibilité (aucun faux négatif) et 100 % de spécificité (aucun faux positif). Ce point est appelé une classification parfaite.
Une supposition aléatoire donnerait un point le long de la ligne diagonale, appelée ligne de non-discrimination, qui va du coin inférieur gauche au coin supérieur droit. Un exemple intuitif de supposition aléatoire est une décision par lancer de pièces. À mesure que la taille de l'échantillon augmente, le point ROC d'un classifieur aléatoire tend vers la ligne diagonale ; pour une pièce équilibrée, il tend vers le point (0,5, 0,5). La diagonale divise l'espace ROC : les points au-dessus de la diagonale représentent de bons résultats de classification (meilleurs que le hasard), tandis que les points en dessous représentent de mauvais résultats (pires que le hasard). Notamment, la sortie d'un prédicteur constamment mauvais peut être inversée pour obtenir un bon prédicteur, car refléter un point à travers le centre (0,5, 0,5) donne un classifieur complémentaire.
Variation du seuil
Une courbe ROC est générée en variant le seuil de classification et en traçant le TPR et le FPR résultants à chaque réglage de seuil. Pour un classifieur qui produit un score continu, abaisser le seuil augmente à la fois le TPR et le FPR, tandis que l'augmenter diminue les deux. La courbe trace un chemin du point (0,0) au seuil le plus élevé (où aucune instance n'est classée comme positive) au point (1,1) au seuil le plus bas (où toutes les instances sont classées comme positives). Chaque point de la courbe correspond à une valeur de seuil spécifique, permettant aux praticiens de sélectionner un point de fonctionnement qui équilibre la sensibilité et la spécificité selon les exigences de l'application.
Aire sous la courbe
L'aire sous la courbe ROC, communément abrégée AUC, est une métrique de synthèse largement utilisée. L'AUC représente la probabilité qu'une instance positive choisie au hasard soit classée plus haut qu'une instance négative choisie au hasard par le classifieur. Une AUC de 1,0 indique une discrimination parfaite, tandis qu'une AUC de 0,5 indique une performance pas meilleure qu'un choix aléatoire. Des valeurs d'AUC inférieures à 0,5 suggèrent que le classifieur performe moins bien que le hasard, ce qui peut indiquer une erreur d'étiquetage ou que l'inversion des prédictions améliorerait la performance. L'AUC est particulièrement utile pour comparer plusieurs classifieurs car elle fournit un nombre unique indépendant du choix du seuil et de la distribution des classes.
Applications
L'analyse ROC est appliquée dans de nombreux domaines. En épidémiologie clinique, elle est utilisée pour évaluer la précision des tests diagnostiques, tels que les mesures de pression artérielle pour l'hypertension ou les biomarqueurs pour la détection de maladies. En radiologie, les courbes ROC aident à évaluer la performance des techniques d'imagerie et des interprétations des radiologues. En biométrie, elles sont utilisées pour évaluer les systèmes de reconnaissance d'empreintes digitales et faciales. En météorologie, l'analyse ROC est appliquée à la vérification des prévisions, comme la prédiction des risques naturels. En apprentissage automatique, les courbes ROC sont des outils standard pour évaluer les classifieurs binaires, y compris ceux utilisés dans les modèles de apprentissage profond et de réseau de neurones. La technique est également pertinente pour évaluer les sorties des grands modèles de langage dans des tâches telles que la modération de contenu ou l'analyse des sentiments, où des décisions binaires sont prises sur la base de scores de confiance continus.
Limites et considérations
Les courbes ROC présentent certaines limites. Elles sont principalement conçues pour la classification binaire, et bien que la généralisation à plusieurs classes soit possible, elle nécessite des approches plus complexes telles que des stratégies un-contre-reste ou un-contre-un. La courbe n'intègre pas directement les coûts des faux positifs et des faux négatifs, qui peuvent varier selon l'application. De plus, lorsque les distributions de classes sont fortement déséquilibrées, la courbe ROC peut présenter une vision trop optimiste de la performance par rapport aux courbes de précision-rappel, qui se concentrent sur la classe positive. Malgré ces limites, l'analyse ROC reste un outil fondamental dans l'évaluation des modèles en raison de son indépendance au seuil et de sa représentation graphique intuitive.