Un diagramme de fiabilité est un outil graphique utilisé pour évaluer la calibration des classificateurs probabilistes. Il trace les probabilités prédites sur l'axe des abscisses et les fréquences observées de la classe positive sur l'axe des ordonnées. Dans un modèle parfaitement calibré, les points se situent le long de la diagonale y = x, ce qui signifie que lorsque le modèle prédit une probabilité de 70 % pour un événement, l'événement se produit environ 70 % du temps. Les écarts par rapport à cette diagonale révèlent un excès de confiance ou un manque de confiance systématique dans les prédictions du modèle.
Le diagramme est construit en regroupant les prédictions en intervalles (par exemple, des déciles) et en calculant la fréquence empirique des résultats positifs dans chaque intervalle. Chaque intervalle produit un point unique, et la courbe résultante fournit un résumé visuel de la calibration sur toute la plage de probabilités. Les diagrammes de fiabilité sont largement utilisés dans des domaines tels que la météorologie, le diagnostic médical et l'apprentissage automatique pour diagnostiquer et améliorer la fiabilité des modèles.
Origines historiques
Le concept de diagramme de fiabilité est issu du domaine des prévisions météorologiques au milieu du XXe siècle. Les météorologues avaient besoin de vérifier les prévisions probabilistes d'événements comme les précipitations, et ils ont développé des méthodes graphiques pour comparer les probabilités prévues aux résultats observés. Les travaux précoces de Glenn W. Brier en 1950 ont introduit le score de Brier, une mesure scalaire de la précision des prévisions, mais la représentation visuelle de la calibration est apparue plus tard. Dans les années 1970, les diagrammes de fiabilité étaient devenus des outils standard dans la vérification météorologique, souvent associés à des histogrammes montrant la distribution des probabilités prévues.
Le terme « fiabilité » dans ce contexte fait référence à l'accord statistique entre les probabilités prédites et les fréquences relatives observées. En météorologie, le diagramme était parfois appelé « tracé de calibration » ou « courbe de fiabilité ». Cette approche a ensuite été adoptée par la communauté de l'apprentissage automatique dans les années 1990 et 2000, en particulier à mesure que les classificateurs probabilistes devenaient plus courants.
Construction et interprétation
Pour créer un diagramme de fiabilité, on obtient d'abord les probabilités prédites d'un modèle sur un ensemble de validation ou de test. Ces prédictions sont triées et regroupées en un nombre fixe d'intervalles, généralement 10 ou 20. Pour chaque intervalle, la probabilité prédite moyenne est tracée en fonction de la fraction d'instances positives. Par exemple, si un intervalle contient des prédictions allant de 0,8 à 0,9 et que 85 % des instances correspondantes sont positives, le point (0,85, 0,85) se situerait sur la diagonale.
L'interprétation implique d'examiner la distance des points par rapport à la diagonale. Les points au-dessus de la diagonale indiquent un manque de confiance (le modèle prédit des probabilités inférieures aux fréquences observées), tandis que les points en dessous indiquent un excès de confiance. Une statistique récapitulative courante est l'erreur de calibration attendue (ECE), qui calcule la moyenne pondérée des différences absolues entre les probabilités prédites et observées sur les intervalles. Des valeurs d'ECE plus faibles indiquent une meilleure calibration.
Les diagrammes de fiabilité sont souvent accompagnés d'un histogramme des fréquences de prédiction pour montrer où le modèle concentre ses prédictions. Un modèle qui prédit toujours des probabilités proches de 0,5 aura un histogramme concentré au milieu, tandis qu'un modèle bien calibré peut avoir une distribution en forme de U s'il est confiant pour de nombreuses instances.
Utilisation en apprentissage automatique
Dans Machine learning, les diagrammes de fiabilité sont devenus essentiels pour évaluer les modèles au-delà de la précision brute. Les classificateurs modernes, en particulier les modèles de Deep learning, produisent souvent des probabilités mal calibrées. Par exemple, un Neural network entraîné avec une perte d'entropie croisée peut présenter un excès de confiance, attribuant des probabilités élevées à des prédictions incorrectes. Ce problème a été mis en évidence dans un article de 2017 de Chuan Guo et ses collègues, qui a montré que les réseaux profonds tendent à être mal calibrés, en particulier sur des ensembles de données avec de nombreuses classes.
Les diagrammes de fiabilité sont utilisés pour visualiser cette mauvaise calibration et pour guider les techniques de recalibration. Les méthodes de post-traitement courantes incluent la Temperature Scaling, qui ajuste les logits par un paramètre scalaire unique, et la mise à l'échelle de Platt, qui ajuste une régression logistique aux probabilités prédites. Ces méthodes visent à rapprocher la courbe de fiabilité de la diagonale sans modifier le classement des prédictions du modèle.
Le diagramme est également utile pour comparer différents modèles. Deux modèles avec une précision similaire peuvent avoir des propriétés de calibration très différentes, et le diagramme de fiabilité révèle lequel fournit des probabilités plus fiables. Cela est particulièrement important dans des applications à enjeux élevés telles que le diagnostic médical, la conduite autonome et l'évaluation des risques financiers.
Applications en prévisions météorologiques
La météorologie reste un domaine principal pour les diagrammes de fiabilité. Les prévisionnistes émettent des prédictions probabilistes pour des événements comme la pluie, les températures extrêmes et les tempêtes violentes. Les diagrammes aident à vérifier si ces probabilités sont fiables sur de longues périodes. Par exemple, si un système de prévision prédit une probabilité de 30 % de pluie sur de nombreux jours, la pluie devrait se produire environ 30 % de ces jours. Les diagrammes de fiabilité permettent aux centres de prévision de surveiller cette cohérence et d'améliorer leurs modèles.
Le Centre européen pour les prévisions météorologiques à moyen terme et d'autres agences utilisent régulièrement des diagrammes de fiabilité dans leurs suites de vérification. Ils tracent souvent des courbes séparées pour différents délais d'échéance et seuils. Un système de prévision bien calibré montre des points proches de la diagonale, tandis que des biais systématiques apparaissent comme des écarts cohérents.
Relation avec d'autres métriques
Le diagramme de fiabilité est étroitement lié au score de Brier, qui se décompose en composantes de fiabilité, de résolution et d'incertitude. La composante de fiabilité correspond à l'écart quadratique moyen du diagramme par rapport à la diagonale. Ainsi, le diagramme fournit une représentation visuelle d'une partie du score de Brier. D'autres métriques comme l'aire sous la courbe ROC (AUC) mesurent la discrimination, qui est distincte de la calibration. Un modèle peut avoir une discrimination parfaite (classant tous les positifs au-dessus des négatifs) mais une mauvaise calibration, et vice versa.
En pratique, la discrimination et la calibration sont toutes deux importantes. Les diagrammes de fiabilité se concentrent uniquement sur la calibration, ce qui les rend complémentaires des courbes ROC et des courbes de précision-rappel. Certains chercheurs préconisent de rapporter les deux, car un modèle bien calibré mais mal discriminant est d'une utilité limitée, et vice versa.
Limites et extensions
Les diagrammes de fiabilité ont des limites connues. Le choix du regroupement peut affecter l'apparence visuelle ; trop peu d'intervalles masquent une mauvaise calibration locale, tandis que trop d'intervalles conduisent à des estimations bruitées. Le diagramme suppose également que l'ensemble de données est représentatif et que la classe positive est bien définie. Pour les problèmes multi-classes, les diagrammes sont généralement tracés pour chaque classe séparément ou en utilisant une approche un-contre-tous.
Les extensions incluent le diagramme de fiabilité pour les prédictions ordinales et pour l'analyse de survie. Ces dernières années, les chercheurs ont proposé des alternatives comme la courbe de fiabilité utilisant un lissage par noyau pour éviter les artefacts de regroupement. Certains travaux tracent également le diagramme sur une échelle logit pour mieux visualiser les probabilités extrêmes. Malgré ces variations, le concept de base reste inchangé.
Logiciels et implémentation
De nombreuses bibliothèques de programmation fournissent des fonctions pour générer des diagrammes de fiabilité. En Python, le module sklearn.calibration inclut calibration_curve, qui renvoie les points pour le tracé. La bibliothèque matplotlib est couramment utilisée pour dessiner le diagramme avec la ligne de référence diagonale. En R, le package verification offre une fonctionnalité similaire. Ces outils facilitent l'évaluation de la calibration dans le cadre du pipeline d'évaluation des modèles pour les praticiens.
Dans la recherche en Artificial intelligence, les diagrammes de fiabilité sont fréquemment inclus dans les articles qui proposent de nouvelles méthodes de calibration ou analysent l'incertitude des modèles. Par exemple, les études sur la calibration des Large language model utilisent souvent des diagrammes de fiabilité pour montrer comment ces modèles estiment la probabilité que leurs sorties soient correctes. Les diagrammes aident à illustrer si les scores de confiance d'un modèle correspondent à la précision réelle.
Directions futures
À mesure que les modèles d'apprentissage automatique deviennent plus complexes et sont déployés dans des domaines critiques, la calibration restera une préoccupation clé. Les diagrammes de fiabilité continueront probablement à servir d'outil de diagnostic standard. Les chercheurs explorent la calibration dans le contexte de la Generative AI et des modèles basés sur Transformer (architecture), où les probabilités sont moins simples à définir. De nouvelles méthodes de recalibration, telles que l'utilisation de Reinforcement Learning from AI Feedback (RLAIF) ou d'autres techniques d'alignement, peuvent être évaluées avec des diagrammes de fiabilité.
L'intégration des diagrammes de fiabilité dans les systèmes de surveillance automatisés est une autre tendance. Dans les environnements de production, les modèles peuvent être évalués en continu, et les changements de calibration peuvent être détectés en suivant le diagramme au fil du temps. Cela s'aligne avec l'objectif plus large d'une IA digne de confiance, où les modèles doivent non seulement être précis, mais aussi bien calibrés et honnêtes quant à leur incertitude.