Une courbe précision-rappel est une représentation graphique utilisée en classification pour évaluer la performance d'un modèle en traçant la précision (valeur prédictive positive) sur l'axe des ordonnées contre le rappel (sensibilité) sur l'axe des abscisses pour différents seuils de décision. Chaque point de la courbe correspond à un réglage de seuil spécifique, montrant comment la précision et le rappel changent lorsque le seuil est ajusté. La courbe est particulièrement utile pour les ensembles de données déséquilibrés où une classe est rare, car elle se concentre sur la performance de la classe positive plutôt que sur les vrais négatifs.
La précision est définie comme la fraction des instances pertinentes parmi les instances récupérées, ou de manière équivalente, le nombre de vrais positifs divisé par la somme des vrais positifs et des faux positifs. Le rappel est la fraction des instances pertinentes qui ont été récupérées, ou le nombre de vrais positifs divisé par la somme des vrais positifs et des faux négatifs. Dans une tâche de classification, un classificateur parfait aurait à la fois une précision et un rappel égaux à 1,0, produisant une courbe qui passe par le coin supérieur droit. Cependant, en pratique, il existe souvent une relation inverse : augmenter le rappel tend à diminuer la précision, et vice versa. Une courbe précision-rappel descend généralement d'une précision élevée à un faible rappel vers une précision plus faible à un rappel élevé, bien que la forme exacte dépende du modèle et des données.
Relation avec les erreurs de type I et de type II
La précision et le rappel sont étroitement liés aux concepts de test d'hypothèse. Le rappel est le complément du taux d'erreur de type II (taux de faux négatifs), ce qui signifie qu'un rappel élevé correspond à peu d'instances positives manquées. La précision est liée au taux d'erreur de type I (taux de faux positifs) mais dépend également de la distribution a priori des instances positives et négatives. Par exemple, dans un ensemble de données avec dix chats et douze chiens, un programme de reconnaissance de chiens qui identifie huit chiens, dont cinq sont réellement des chiens, a une précision de 5/8 et un rappel de 5/12. Le taux d'erreur de type I est de 3/10 (trois faux positifs parmi dix chats), et le taux d'erreur de type II est de 7/12 (sept faux négatifs parmi douze chiens). La précision peut être considérée comme une mesure de qualité (combien d'éléments sélectionnés sont pertinents), tandis que le rappel est une mesure de quantité (combien d'éléments pertinents sont sélectionnés).
Compromis et exemples pratiques
Le compromis entre précision et rappel est souvent dépendant du contexte. Par exemple, un détecteur de fumée est conçu pour privilégier le rappel, car le coût de manquer un incendie (un faux négatif) est catastrophique, même si cela implique de nombreuses fausses alarmes (faible précision). À l'inverse, le système de justice pénale, guidé par le ratio de Blackstone - "Il vaut mieux que dix coupables échappent que de faire souffrir un innocent" - privilégie la précision, acceptant un rappel plus faible pour éviter de condamner des innocents. Un neurochirurgien retirant une tumeur est confronté à un dilemme similaire : retirer une zone plus large augmente le rappel (en s'assurant que toutes les cellules cancéreuses sont retirées) mais réduit la précision (en retirant des tissus sains), tandis qu'une approche conservatrice augmente la précision mais risque de laisser des cellules cancéreuses derrière.
Construction et interprétation
Pour construire une courbe précision-rappel, un modèle génère un score ou une probabilité pour chaque instance. En variant le seuil au-dessus duquel une instance est classée comme positive, on obtient différentes paires de valeurs de précision et de rappel. Ces paires sont tracées sous forme de courbe. L'aire sous la courbe précision-rappel (PR-AUC) est un résumé numérique unique de la courbe, avec des valeurs plus élevées indiquant une meilleure performance globale. Un classificateur aléatoire produit généralement une courbe qui est une ligne horizontale à la proportion d'instances positives dans l'ensemble de données, donc la PR-AUC pour un modèle utile doit être au-dessus de cette ligne de base. La courbe est particulièrement informative lorsque la classe positive est rare, car la matrice de confusion seule peut être trompeuse.
Utilisation en apprentissage automatique
Les courbes précision-rappel sont largement utilisées dans apprentissage automatique et intelligence artificielle pour évaluer les classificateurs binaires, en particulier dans des domaines tels que la recherche d'informations, le diagnostic médical et la détection de fraude. Elles sont souvent comparées aux courbes caractéristiques de fonctionnement du récepteur (ROC), qui tracent le taux de vrais positifs contre le taux de faux positifs. Contrairement aux courbes ROC, les courbes précision-rappel n'incluent pas les vrais négatifs, ce qui les rend plus sensibles à la performance sur la classe positive. De nombreux frameworks de réseaux de neurones et de apprentissage profond fournissent des fonctions intégrées pour calculer et tracer les courbes précision-rappel, facilitant la sélection de modèles et le réglage des seuils. Par exemple, dans les tâches de traitement du langage naturel comme la classification de documents, une courbe précision-rappel peut aider à équilibrer la récupération de documents pertinents contre l'inclusion de documents non pertinents.
Limites et considérations
Les courbes précision-rappel ont des limites. Elles sont sensibles au déséquilibre des classes, et un modèle avec une précision et un rappel élevés sur un ensemble de données équilibré peut performer médiocrement sur un ensemble déséquilibré. De plus, la courbe ne transmet pas le nombre absolu d'instances, donc comparer des courbes entre différents ensembles de données peut être trompeur. Il est également possible d'atteindre un rappel parfait en récupérant chaque instance, mais un tel modèle aurait une faible précision. À l'inverse, une précision parfaite peut être atteinte en sélectionnant uniquement les instances les plus confiantes, mais le rappel serait faible. Par conséquent, la précision et le rappel sont rarement discutés isolément ; au lieu de cela, la courbe fournit une vue complète du compromis, permettant aux praticiens de choisir un seuil qui correspond aux priorités de l'application.