Eine Receiver-Operating-Characteristic-Kurve, kurz ROC-Kurve, ist eine grafische Darstellung, die die Leistung eines binären Klassifikationsmodells bei verschiedenen Schwellenwerten veranschaulicht. Obwohl sie auf mehrere Klassen verallgemeinert werden kann, wird sie am häufigsten bei binären Klassifikationsproblemen angewendet. Die ROC-Analyse wird häufig zur Bewertung der Leistung diagnostischer Tests in der klinischen Epidemiologie sowie im maschinellen Lernen, in der Radiologie, Biometrie und Prognose eingesetzt. Die Kurve bietet einen umfassenden Überblick über den Kompromiss zwischen Sensitivität und Spezifität über alle möglichen Klassifikationsschwellenwerte hinweg und ermöglicht einen Modellvergleich ohne Festlegung eines bestimmten Arbeitspunkts.
Die ROC-Kurve ist die Darstellung der Richtig-Positiv-Rate (TPR) gegen die Falsch-Positiv-Rate (FPR) bei jeder Schwellenwerteinstellung. Die Richtig-Positiv-Rate, auch als Sensitivität oder Detektionswahrscheinlichkeit bekannt, misst den Anteil der tatsächlich positiven Fälle, die korrekt identifiziert werden. Die Falsch-Positiv-Rate, auch als Falschalarmwahrscheinlichkeit bekannt, entspricht 1 minus Spezifität und misst den Anteil der tatsächlich negativen Fälle, die fälschlicherweise als positiv klassifiziert werden. Die Kurve kann auch als Darstellung der statistischen Trennschärfe in Abhängigkeit vom Typ-I-Fehler der Entscheidungsregel interpretiert werden. Wenn die Wahrscheinlichkeitsverteilungen für sowohl echte positive als auch falsche positive Ergebnisse bekannt sind, erhält man die ROC-Kurve als kumulative Verteilungsfunktion der Detektionswahrscheinlichkeit auf der y-Achse gegenüber der kumulativen Verteilungsfunktion der Falsch-Positiv-Wahrscheinlichkeit auf der x-Achse.
Die ROC-Analyse bietet Werkzeuge, um möglicherweise optimale Modelle auszuwählen und suboptimale zu verwerfen, unabhängig von und vor der Festlegung des Kostenkontexts oder der Klassenverteilung. Sie steht in direkter und natürlicher Beziehung zur Kosten-Nutzen-Analyse diagnostischer Entscheidungsfindung. Die Fläche unter der ROC-Kurve (AUC) ist ein einzelner Skalarwert, der die Gesamtleistung eines Klassifikators zusammenfasst, wobei Werte näher an 1 eine bessere Diskriminierung anzeigen und 0,5 eine Leistung äquivalent zu zufälligem Raten bedeutet.
Terminologie
Die Richtig-Positiv-Rate ist auch als Sensitivität, Recall oder Detektionswahrscheinlichkeit bekannt. Die Falsch-Positiv-Rate ist auch als Falschalarmwahrscheinlichkeit bekannt und entspricht 1 minus Spezifität. Die ROC-Kurve wird auch als relative Betriebskennlinie bezeichnet, da sie ein Vergleich zweier Betriebskennlinien (TPR und FPR) bei sich änderndem Kriterium ist. In einigen Bereichen wird die Kurve als Sensitivitäts- versus (1 minus Spezifität)-Diagramm bezeichnet. Die Begriffe „positiv“ und „negativ“ beziehen sich auf die vorhergesagten Klassenbezeichnungen, während „richtig“ und „falsch“ angeben, ob die Vorhersage mit der tatsächlichen Grundwahrheit übereinstimmt.
Geschichte
Die ROC-Kurve wurde erstmals von Elektroingenieuren und Radaringenieuren während des Zweiten Weltkriegs ab 1941 zur Erkennung feindlicher Objekte auf Schlachtfeldern entwickelt. Dieser Ursprung führte zu ihrem Namen „Receiver Operating Characteristic“, da sie die Betriebskennlinien von Radarempfängern beschrieb. Die Technik wurde bald in die Psychologie eingeführt, um die perzeptuelle Detektion von Reizen zu erklären, insbesondere in der Signalentdeckungstheorie. In den folgenden Jahrzehnten wurde die ROC-Analyse in der Medizin, Radiologie, Biometrie, Prognose natürlicher Gefahren, Meteorologie und Modellleistungsbewertung übernommen. In den letzten Jahren wird sie zunehmend in der maschinellen Lern- und Data-Mining-Forschung als Standardwerkzeug zur Bewertung von Klassifikationsmodellen eingesetzt.
Grundkonzept
Ein Klassifikationsmodell ist eine Abbildung von Instanzen auf bestimmte Klassen oder Gruppen. Die Ausgabe des Klassifikators kann ein beliebiger reeller Wert sein, der einen Schwellenwert zur Bestimmung der Klassengrenze erfordert, oder sie kann ein diskretes Klassenlabel sein. Betrachten wir ein Zwei-Klassen-Vorhersageproblem, bei dem Ergebnisse als positiv (p) oder negativ (n) gekennzeichnet sind. Aus einem binären Klassifikator ergeben sich vier mögliche Ergebnisse: Eine richtig positive (TP) Klassifikation tritt auf, wenn die Vorhersage p ist und der tatsächliche Wert p ist; eine falsch positive (FP) Klassifikation tritt auf, wenn die Vorhersage p ist, aber der tatsächliche Wert n ist; eine richtig negative (TN) Klassifikation tritt auf, wenn sowohl Vorhersage als auch tatsächlicher Wert n sind; und eine falsch negative (FN) Klassifikation tritt auf, wenn die Vorhersage n ist, aber der tatsächliche Wert p ist.
Zum Beispiel tritt bei einem diagnostischen Test für eine Krankheit eine falsch positive Klassifikation auf, wenn eine Person positiv getestet wird, aber die Krankheit tatsächlich nicht hat. Eine falsch negative Klassifikation tritt auf, wenn eine Person negativ getestet wird, aber die Krankheit tatsächlich hat. Diese vier Ergebnisse können in einer 2x2-Kontingenztabelle, auch als Konfusionsmatrix bekannt, organisiert werden, die die Grundlage für die Berechnung verschiedener Bewertungsmetriken bildet.
ROC-Raum
Der ROC-Raum wird durch die Falsch-Positiv-Rate auf der x-Achse und die Richtig-Positiv-Rate auf der y-Achse definiert. Diese grafische Darstellung zeigt die relativen Kompromisse zwischen echten Positiven (Nutzen) und falschen Positiven (Kosten). Jedes Vorhersageergebnis oder jede Instanz einer Konfusionsmatrix repräsentiert einen Punkt im ROC-Raum. Die bestmögliche Vorhersagemethode würde einen Punkt in der oberen linken Ecke bei den Koordinaten (0,1) ergeben, was 100% Sensitivität (keine falschen Negative) und 100% Spezifität (keine falschen Positive) darstellt. Dieser Punkt wird als perfekte Klassifikation bezeichnet.
Ein zufälliges Raten würde einen Punkt entlang der Diagonalen ergeben, die als Linie ohne Diskriminierung bezeichnet wird und von der unteren linken zur oberen rechten Ecke verläuft. Ein intuitives Beispiel für zufälliges Raten ist eine Entscheidung durch Münzwurf. Mit zunehmender Stichprobengröße tendiert der ROC-Punkt eines zufälligen Klassifikators zur Diagonalen; bei einer ausgeglichenen Münze tendiert er zum Punkt (0,5, 0,5). Die Diagonale teilt den ROC-Raum: Punkte oberhalb der Diagonalen repräsentieren gute Klassifikationsergebnisse (besser als zufällig), während Punkte darunter schlechte Ergebnisse (schlechter als zufällig) darstellen. Bemerkenswerterweise kann die Ausgabe eines konsistent schlechten Prädiktors invertiert werden, um einen guten Prädiktor zu erhalten, da die Spiegelung eines Punkts über das Zentrum (0,5, 0,5) einen komplementären Klassifikator ergibt.
Schwellenwertvariation
Eine ROC-Kurve wird erzeugt, indem der Klassifikationsschwellenwert variiert und die resultierenden TPR- und FPR-Werte bei jeder Schwellenwerteinstellung aufgetragen werden. Bei einem Klassifikator, der einen kontinuierlichen Score ausgibt, erhöht die Senkung des Schwellenwerts sowohl TPR als auch FPR, während die Erhöhung des Schwellenwerts beide verringert. Die Kurve verläuft von Punkt (0,0) beim höchsten Schwellenwert (wo keine Instanzen als positiv klassifiziert werden) zu Punkt (1,1) beim niedrigsten Schwellenwert (wo alle Instanzen als positiv klassifiziert werden). Jeder Punkt auf der Kurve entspricht einem spezifischen Schwellenwert, sodass Praktiker einen Arbeitspunkt auswählen können, der Sensitivität und Spezifität gemäß den Anforderungen der Anwendung ausbalanciert.
Fläche unter der Kurve
Die Fläche unter der ROC-Kurve, allgemein als AUC abgekürzt, ist eine weit verbreitete zusammenfassende Metrik. Die AUC repräsentiert die Wahrscheinlichkeit, dass eine zufällig ausgewählte positive Instanz von dem Klassifikator höher eingestuft wird als eine zufällig ausgewählte negative Instanz. Eine AUC von 1,0 zeigt eine perfekte Diskriminierung an, während eine AUC von 0,5 eine Leistung anzeigt, die nicht besser als zufälliges Raten ist. AUC-Werte unter 0,5 deuten darauf hin, dass der Klassifikator schlechter als zufällig abschneidet, was auf einen Beschriftungsfehler hindeuten kann oder darauf, dass die Invertierung der Vorhersagen die Leistung verbessern würde. Die AUC ist besonders nützlich zum Vergleich mehrerer Klassifikatoren, da sie eine einzelne Zahl liefert, die unabhängig von der Schwellenwertwahl und der Klassenverteilung ist.
Anwendungen
Die ROC-Analyse wird in zahlreichen Bereichen angewendet. In der klinischen Epidemiologie wird sie zur Bewertung der Genauigkeit diagnostischer Tests verwendet, wie etwa Blutdruckmessungen für Hypertonie oder Biomarker zur Krankheitserkennung. In der Radiologie helfen ROC-Kurven bei der Bewertung der Leistung von Bildgebungstechniken und der Interpretation durch Radiologen. In der Biometrie werden sie zur Bewertung von Fingerabdruck- und Gesichtserkennungssystemen eingesetzt. In der Meteorologie wird die ROC-Analyse zur Verifikation von Vorhersagen angewendet, etwa zur Prognose natürlicher Gefahren. Im maschinellen Lernen sind ROC-Kurven Standardwerkzeuge zur Bewertung binärer Klassifikatoren, einschließlich solcher, die in Deep-Learning- und Neuronalen-Netzwerk-Modellen verwendet werden. Die Technik ist auch relevant für die Bewertung von Ausgaben großer Sprachmodelle bei Aufgaben wie Inhaltsmoderation oder Sentimentanalyse, bei denen binäre Entscheidungen auf der Grundlage kontinuierlicher Konfidenzwerte getroffen werden.
Einschränkungen und Überlegungen
ROC-Kurven haben bestimmte Einschränkungen. Sie sind hauptsächlich für die binäre Klassifikation ausgelegt, und obwohl eine Verallgemeinerung auf mehrere Klassen möglich ist, erfordert dies komplexere Ansätze wie One-vs-Rest- oder One-vs-One-Strategien. Die Kurve berücksichtigt nicht direkt die Kosten falscher Positiver und falscher Negative, die je nach Anwendung variieren können. Darüber hinaus kann die ROC-Kurve bei stark unausgewogenen Klassenverteilungen eine übermäßig optimistische Sicht der Leistung im Vergleich zu Precision-Recall-Kurven bieten, die sich auf die positive Klasse konzentrieren. Trotz dieser Einschränkungen bleibt die ROC-Analyse ein grundlegendes Werkzeug in der Modellbewertung aufgrund ihrer Schwellenwertunabhängigkeit und intuitiven grafischen Darstellung.