Une matrice de confusion, également connue sous le nom de matrice d'erreur, est une disposition de tableau spécifique qui permet de visualiser la performance d'une personne ou d'un algorithme sur une tâche spécifique. En apprentissage automatique, ces matrices montrent le succès d'un système d'apprentissage dans l'apprentissage supervisé et non supervisé, où elles sont parfois appelées matrice de correspondance. Le nom provient du fait que la matrice facilite l'identification de savoir si le système confond deux classes, c'est-à-dire, s'il étiquette couramment une classe comme une autre.
La matrice de confusion a ses origines dans les études humaines de perception des stimuli auditifs. Elle a été ensuite adaptée pour les études d'apprentissage automatique et utilisée par des chercheurs pionniers tels que Frank Rosenblatt pour comparer les classifications humaines et machines de stimuli visuels et auditifs. C'est un type particulier de table de contingence avec deux dimensions, « réel » et « prédit », et des ensembles identiques de classes dans les deux dimensions. Chaque ligne de la matrice représente des instances dans une classe réelle, tandis que chaque colonne représente des instances dans une classe prédite, ou vice versa, selon la convention utilisée. La diagonale de la matrice représente donc toutes les instances qui sont correctement prédites.
Exemple de classification binaire
Considérons un échantillon de 12 individus, 8 diagnostiqués avec un cancer (classe 1, positive) et 4 sans cancer(classe 0, négative). Un classificateur distingue entre les individus avec et sans cancer. Après avoir fait passer les 12 individus à travers le classificateur, il fait 9 prédictions précises et manque 3 : 2 individus avec un cancer sont incorrectement prédits comme sans cancer, et 1 personne sans cancer est incorrectement prédite comme ayant un cancer. La comparaison des classifications réelles et prédites donne quatre résultats possibles :
- Vrai positif (VP) : Réel positif et prédit positif.
- Faux négatif(FN) : Réel positif et prédit négatif.
- Faux positif(FP) : Réel négatif et prédit positif.
- Vrai négatif(VN) : Réel négatif et prédit négatif.
Ces résultats peuvent être organisés dans une matrice de confusion 2×2. Pour l'exemple, la matrice montrerait :
| Prédit positif | Prédit négatif | |
|---|---|---|
| Réel positif | 6 (VP) | 2 (FN) |
| Réel négatif | 1 (FP) | 3 (VN) |
Toutes les prédictions correctes se trouvent sur la diagonale, ce qui facilite la détection des erreurs, qui apparaissent hors diagonale. La somme des lignes donne le nombre total d'échantillons positifs (P = VP + FN) et négatifs(N = FP + VN) dans l'ensemble de données.
Table de confusion
En analyse prédictive, une table de confusion (parfois aussi appelée matrice de confusion) est une table deux par deux rapportant les comptes de vrais positifs, de faux négatifs, de faux positifs, et de vrais négatifs. Cela permet une analyse plus détaillée que la simple observation de la précision, qui peut être trompeuse si l'ensemble de données est déséquilibré. Par exemple, avec 95 échantillons de cancer et 5 échantillons sans cancer, un classificateur qui étiquette tout comme cancer aurait une précision de 95 % mais une sensibilité de 0 % pour la classe sans cancer. Des métriques comme le score F1 peuvent également être biaisées ; l'information élimine ce biais, donnant 0 pour toute forme de devinette. Selon Davide Chicco et Giuseppe Jurman, la métrique la plus informative pour évaluer une matrice de confusion est le coefficient de corrélation de Matthews(MCC.
Certains chercheurs soutiennent que la matrice de confusion et les métriques dérivées ne reflètent pas entièrement la connaissance d'un modèle. La matrice ne peut pas montrer si les prédictions correctes ont été atteintes par un raisonnement solide ou par hasard(chance épistémique), ni ne capture-t-elle les situations où les faits utilisés pour la prédiction changent plus tard(défectibilité. Ainsi, bien qu'utile, la matrice de confusion peut donner une image incomplète de la fiabilité réelle d'un modèle.
Matrices de confusion multi-classes
Les matrices de confusion ne sont pas limitées à la classification binaire; elles peuvent être utilisées dans des classificateurs multi-classes. Pour un classificateur avec k classes, la matrice a k lignes et k colonnes, où chaque cellule(i, j) compte des instances de la classe réelle i prédites comme classe j. La diagonale représente les prédictions correctes, et les cellules hors diagonale montrent les erreurs de classification. Cette disposition aide à identifier quelles classes sont couramment confondues entre elles.
Métriques dérivées
Plusieurs métriques de performance peuvent être calculées à partir d'une matrice de confusion :
- Précision :(VP + VN) / (VP + VN + FP + FN)
- Exactitude : VP / (VP + FP)
- Rappel (Sensibilité) : VP / (VP + FN)
- Spécificité : VN / (VN + FP)
- Score F1 : Moyenne harmonique de l'exactitude et du rappel
- Coefficient de corrélation de Matthews(MCC) : Une mesure équilibrée qui tient compte des quatre cellules.
Ces métriques fournissent différentes perspectives sur la performance du classificateur, en particulier dans les ensembles de données déséquilibrés.
Applications en apprentissage automatique
Les matrices de confusion sont largement utilisées dans Machine learning pour évaluer les classificateurs, y compris les modèles de Neural network et les systèmes de Deep learning. Elles sont essentielles dans des domaines comme le diagnostic médical, la détection de spam, et la reconnaissance d'images. Par exemple, dans la recherche en Artificial intelligence, les matrices de confusion aident à comparer la performance des modèles entre différentes classes, guidant les améliorations dans l'architecture des modèles et les données d'entraînement.
Limitations et critiques
Malgré leur utilité, les matrices de confusion ont des limitations. Elles ne capturent pas le raisonnement derrière les prédictions, et elles supposent une vérité de terrain statique. Dans des environnements dynamiques, tels que ceux impliquant des sorties de Large language model, la matrice peut ne pas refléter l'exactitude évolutive. De plus, pour des ensembles de données hautement déséquilibrés, la précision et le score F1 peuvent être trompeurs, incitant à s'appuyer sur des métriques comme MCC ou l'information.
Contexte historique
Le concept de la matrice de confusion est originaire des études humaines de perception, en particulier en audiologie, où les matrices mesurent comment une personne entend des mots ou des sons spécifiques. Frank Rosenblatt, un pionnier des premiers réseaux de neurones, a utilisé des matrices de confusion pour comparer les classifications humaines et machines. Ce lien historique souligne le rôle de la matrice dans le pont entre l'évaluation de la performance humaine et machine.
Voir aussi
- Machine learning
- Neural network
- Deep learning
- Artificial intelligence
- Supervised learning
- Unsupervised learning
- classification
- Precision and Recall
- matthews-correlation-coefficient