Eine Konfusionsmatrix, auch Fehlermatrix genannt, ist ein spezifisches Tabellenlayout, das die Visualisierung der Leistung einer Person oder eines Algorithmus bei einer bestimmten Aufgabe ermöglicht. Im maschinellen Lernen zeigen diese Matrizen den Erfolg eines Lernsystems sowohl beim überwachten als auch beim unüberwachten Lernen, wo sie manchmal auch als Zuordnungsmatrix bezeichnet werden. Der Name rührt daher, dass die Matrix es leicht macht zu erkennen, ob das System zwei Klassen verwechselt, das heißt, eine Klasse häufig fälschlich als eine andere kennzeichnet.
Die Konfusionsmatrix hat ihren Ursprung in Studien zur menschlichen Wahrnehmung von auditiven Reizen. Sie wurde später für Studien des maschinellen Lernens angepasst und von frühen Forschern wie Frank Rosenblatt verwendet, um menschliche und maschinelle Klassifikationen visueller und auditiver Reize zu vergleichen. Sie ist eine spezielle Art von Kontingenztabelle mit zwei Dimensionen, "tatsächlich" und "vorhergesagt", und identischen Klassenmengen in beiden Dimensionen. Jede Zeile der Matrix repräsentiert Instanzen einer tatsächlichen Klasse, während jede Spalte Instanzen einer vorhergesagten Klasse repräsentiert, oder umgekehrt, je nach verwendeter Konvention. Die Diagonale der Matrix repräsentiert daher alle Instanzen, die korrekt vorhergesagt wurden.
Beispiel für binäre Klassifikation
Betrachten wir eine Stichprobe von 12 Personen, von denen 8 mit Krebs diagnostiziert wurden (Klasse 1, positiv) und 4 krebsfrei sind (Klasse 0, negativ). Ein Klassifikator unterscheidet zwischen Personen mit und ohne Krebs. Nachdem die 12 Personen durch den Klassifikator gelaufen sind, macht er 9 genaue Vorhersagen und verfehlt 3: 2 Personen mit Krebs werden fälschlich als krebsfrei vorhergesagt, und 1 Person ohne Krebs wird fälschlich als krebskrank vorhergesagt.
Der Vergleich von tatsächlichen und vorhergesagten Klassifikationen ergibt vier mögliche Ergebnisse:
- Richtig positiv (TP): Tatsächlich positiv und vorhergesagt positiv.
- Falsch negativ (FN): Tatsächlich positiv und vorhergesagt negativ.
- Falsch positiv (FP): Tatsächlich negativ und vorhergesagt positiv.
- Richtig negativ (TN): Tatsächlich negativ und vorhergesagt negativ.
Diese Ergebnisse können in einer 2×2-Konfusionsmatrix angeordnet werden. Für das Beispiel würde die Matrix Folgendes zeigen:
| Vorhergesagt positiv | Vorhergesagt negativ | |
|---|---|---|
| Tatsächlich positiv | 6 (TP) | 2 (FN) |
| Tatsächlich negativ | 1 (FP) | 3 (TN) |
Alle korrekten Vorhersagen liegen auf der Diagonale, was es leicht macht, Fehler zu erkennen, die außerhalb der Diagonale erscheinen. Die Summierung der Zeilen ergibt die Gesamtzahl der positiven (P = TP + FN) und negativen (N = FP + TN) Stichproben im Datensatz.
Tabelle der Verwechslung
In der prädiktiven Analytik ist eine Tabelle der Verwechslung (manchmal auch Konfusionsmatrix genannt) eine Zwei-mal-zwei-Tabelle, die die Anzahl der richtig positiven, falsch negativen, falsch positiven und richtig negativen Ergebnisse angibt. Dies ermöglicht eine detailliertere Analyse als die bloße Betrachtung der Genauigkeit, die irreführend sein kann, wenn der Datensatz unausgewogen ist. Zum Beispiel hätte ein Klassifikator, der alles als Krebs kennzeichnet, bei 95 Krebsproben und 5 Nicht-Krebsproben eine Genauigkeit von 95 %, aber eine Sensitivität von 0 % für die Nicht-Krebs-Klasse. Metriken wie der F1-Score können ebenfalls verzerrt sein; Informiertheit entfernt eine solche Verzerrung und ergibt 0 für jede Form des Ratens. Laut Davide Chicco und Giuseppe Jurman ist die informativste Metrik zur Bewertung einer Konfusionsmatrix der Matthews-Korrelationskoeffizient (MCC).
Einige Forscher argumentieren, dass die Konfusionsmatrix und daraus abgeleitete Metriken das Wissen eines Modells nicht vollständig widerspiegeln. Die Matrix kann nicht zeigen, ob korrekte Vorhersagen durch fundierte Überlegungen oder durch Zufall (epistemisches Glück) erreicht wurden, noch erfasst sie Situationen, in denen sich Fakten, die für die Vorhersage verwendet wurden, später ändern (Defeasibility). Obwohl nützlich, kann die Konfusionsmatrix daher ein unvollständiges Bild der tatsächlichen Zuverlässigkeit eines Modells vermitteln.
Mehrklassen-Konfusionsmatrizen
Konfusionsmatrizen sind nicht auf die binäre Klassifikation beschränkt; sie können in Mehrklassen-Klassifikatoren verwendet werden. Für einen Klassifikator mit k Klassen hat die Matrix k Zeilen und k Spalten, wobei jede Zelle (i, j) Instanzen der tatsächlichen Klasse i zählt, die als Klasse j vorhergesagt wurden. Die Diagonale repräsentiert korrekte Vorhersagen, und Zellen außerhalb der Diagonale zeigen Fehlklassifikationen. Dieses Layout hilft zu identifizieren, welche Klassen häufig miteinander verwechselt werden.
Abgeleitete Metriken
Aus einer Konfusionsmatrix können mehrere Leistungsmetriken berechnet werden:
- Genauigkeit: (TP + TN) / (TP + TN + FP + FN)
- Präzision: TP / (TP + FP)
- Sensitivität (Rekall): TP / (TP + FN)
- Spezifität: TN / (TN + FP)
- F1-Score: Harmonisches Mittel aus Präzision und Sensitivität
- Matthews-Korrelationskoeffizient (MCC): Ein ausgewogenes Maß, das alle vier Zellen berücksichtigt.
Diese Metriken bieten unterschiedliche Perspektiven auf die Leistung eines Klassifikators, insbesondere bei unausgewogenen Datensätzen.
Anwendungen im maschinellen Lernen
Konfusionsmatrizen werden häufig im Machine learning verwendet, um Klassifikatoren zu bewerten, einschließlich Neural network-Modellen und Deep learning-Systemen. Sie sind in Bereichen wie medizinischer Diagnose, Spam-Erkennung und Bilderkennung unerlässlich. In der Artificial intelligence-Forschung helfen Konfusionsmatrizen beispielsweise dabei, die Modellleistung über verschiedene Klassen hinweg zu vergleichen und Verbesserungen an der Modellarchitektur und den Trainingsdaten zu leiten.
Einschränkungen und Kritik
Trotz ihrer Nützlichkeit haben Konfusionsmatrizen Einschränkungen. Sie erfassen nicht die Begründung hinter Vorhersagen und setzen eine statische Grundwahrheit voraus. In dynamischen Umgebungen, wie solchen mit Large language model-Ausgaben, spiegelt die Matrix möglicherweise nicht die sich entwickelnde Korrektheit wider. Darüber hinaus können Genauigkeit und F1-Score bei stark unausgewogenen Datensätzen irreführend sein, was dazu führt, dass man sich auf Metriken wie MCC oder Informiertheit verlässt.
Historischer Kontext
Das Konzept der Konfusionsmatrix entstand in Studien zur menschlichen Wahrnehmung, insbesondere in der Audiologie, wo Matrizen messen, wie eine Person bestimmte Wörter oder Töne hört. Frank Rosenblatt, ein Pionier der frühen neuronalen Netze, verwendete Konfusionsmatrizen, um menschliche und maschinelle Klassifikationen zu vergleichen. Diese historische Verbindung unterstreicht die Rolle der Matrix bei der Überbrückung der Bewertung menschlicher und maschineller Leistung.
Siehe auch
- Maschinelles Lernen
- Neuronales Netz
- Tiefes Lernen
- Künstliche Intelligenz
- Überwachtes Lernen
- Unüberwachtes Lernen
- Klassifikation
- Präzision und Sensitivität
- matthews-correlation-coefficient|Matthews-Korrelationskoeffizient