Der Expected Calibration Error (ECE) ist eine Metrik, die verwendet wird, um die Fehlkalibrierung der Konfidenzvorhersagen eines Modells zu quantifizieren. Bei Klassifikationsaufgaben sollte ein gut kalibriertes Modell eine vorhergesagte Wahrscheinlichkeit (Konfidenz) aufweisen, die der tatsächlichen Häufigkeit der Korrektheit entspricht. Beispielsweise sollten bei allen Vorhersagen, denen das Modell 80 % Konfidenz zuweist, ungefähr 80 % korrekt sein. Der ECE misst den gewichteten Durchschnitt der absoluten Differenz zwischen Konfidenz und Genauigkeit über Bins von Vorhersagen und liefert einen einzelnen Skalarwert, wobei niedrigere Werte besser sind.
Der ECE ist besonders relevant in Anwendungen mit hohem Risiko im Bereich Machine learning und Artificial intelligence, wo übermäßig selbstbewusste oder unterbewusste Vorhersagen zu schlechten Entscheidungen führen können. Er wird häufig zur Bewertung von Neural network-Klassifikatoren verwendet, einschließlich Deep learning-Modellen und Large language models, bei denen die Kalibrierung aufgrund von Überanpassung oder der Verwendung komplexer Architekturen oft schlecht ist.
Formale Definition
Der ECE wird berechnet, indem Vorhersagen basierend auf ihren Konfidenzwerten in M gleichmäßig verteilte Bins partitioniert werden. Für jedes Bin B_m werden die durchschnittliche Konfidenz (conf) und die durchschnittliche Genauigkeit (acc) berechnet. Der ECE ist dann die gewichtete Summe der absoluten Differenzen zwischen diesen Durchschnittswerten, wobei die Gewichte proportional zur Anzahl der Stichproben in jedem Bin sind. Die Formel lautet: ECE = Summe_{m=1}^{M} (|B_m| / N) * |acc(B_m) - conf(B_m)|, wobei N die Gesamtzahl der Stichproben ist. Diese Formulierung stellt sicher, dass Bins mit mehr Stichproben mehr zum Gesamtfehler beitragen.
Die Wahl der Bin-Anzahl M ist ein Hyperparameter, der in der Praxis üblicherweise auf 10 oder 15 gesetzt wird. Alternative Binning-Strategien wie adaptives Binning oder Kernel-Dichteschätzung wurden vorgeschlagen, um die Empfindlichkeit gegenüber der Bin-Breite zu verringern, aber das Binning mit fester Breite bleibt aufgrund seiner Einfachheit und Interpretierbarkeit der Standard.
Kalibrierung im Maschinellen Lernen
Kalibrierung unterscheidet sich von Genauigkeit. Ein Modell kann hochgenau, aber schlecht kalibriert sein, wenn seine Konfidenzwerte nicht die wahren Wahrscheinlichkeiten widerspiegeln. Beispielsweise könnte ein Residual Network (ResNet), das für die Bildklassifikation trainiert wurde, 95 % Genauigkeit erreichen, aber vielen korrekten Vorhersagen 99 % Konfidenz und falschen Vorhersagen 70 % Konfidenz zuweisen, was zu einem hohen ECE führt. Umgekehrt kann ein Modell mit geringerer Genauigkeit perfekt kalibriert sein, wenn seine Konfidenz in jedem Bin mit seiner Genauigkeit übereinstimmt.
Moderne Deep learning-Modelle, insbesondere solche, die mit Loss Functions wie Kreuzentropie trainiert werden, neigen zu Überkonfidenz. Dieses Phänomen wurde systematisch in einer Studie aus dem Jahr 2017 von Chuan Guo und Kollegen dokumentiert, die zeigte, dass tiefere Architekturen und bessere Genauigkeit oft mit schlechterer Kalibrierung korrelieren. Die Studie führte auch Temperature Scaling als Post-hoc-Kalibrierungsmethode ein, die weiterhin ein beliebter Basisstandard ist.
Beziehung zu anderen Metriken
Der ECE ist eine von mehreren Kalibrierungsmetriken. Der Brier-Score misst den mittleren quadratischen Fehler zwischen vorhergesagten Wahrscheinlichkeiten und binären Ergebnissen und kombiniert Kalibrierung und Verfeinerung. Das Zuverlässigkeitsdiagramm, ein visuelles Werkzeug, zeichnet Genauigkeit gegen Konfidenz auf und bietet eine qualitative Sicht auf Fehlkalibrierung. Der ECE fasst das Zuverlässigkeitsdiagramm in eine einzelne Zahl zusammen, was den Vergleich von Modellen erleichtert, aber Informationen über die Richtung der Fehlkalibrierung (Über- oder Unterkonfidenz) verliert.
Eine weitere verwandte Metrik ist der Maximum Calibration Error (MCE), der die maximale absolute Differenz über Bins anstelle des gewichteten Durchschnitts verwendet. MCE ist nützlich, wenn die Kalibrierung im schlechtesten Fall entscheidend ist, wie in sicherheitskritischen Anwendungen. Der ECE wird jedoch aufgrund seiner Robustheit gegenüber Ausreißern in Forschungspapieren häufiger berichtet.
Anwendungen in großen Sprachmodellen
Mit dem Aufkommen von Generative AI und Large language models wurde der ECE angepasst, um die Kalibrierung in Aufgaben der natürlichen Sprachverarbeitung zu bewerten. Modelle wie die von OpenAI, Anthropic und Google DeepMind erzeugen oft Token-Ebene-Wahrscheinlichkeiten, die zu Konfidenzwerten für Antworten aggregiert werden können. Die Kalibrierung dieser Modelle ist jedoch eine Herausforderung, da sie mit Zielen trainiert werden, die keine gut kalibrierten Wahrscheinlichkeiten explizit fördern, und der Ausgaberaum riesig ist.
Jüngste Studien haben gezeigt, dass große Sprachmodelle in ihren Antworten oft übermäßig selbstbewusst sind, insbesondere bei faktischen Frage-Antwort-Aufgaben. Forscher haben Methoden zur Verbesserung der Kalibrierung vorgeschlagen, wie das Feintuning mit kalibrierungsbewussten Zielen oder die Verwendung von Reinforcement Learning from AI Feedback (RLAIF) (Verstärkungslernen aus KI-Feedback), um Konfidenz mit Korrektheit in Einklang zu bringen. Der ECE wird in diesen Studien häufig als Bewertungsmetrik verwendet, neben menschlicher Bewertung und anderen probabilistischen Metriken.
Kalibrierungsmethoden
Es gibt mehrere Techniken, um den ECE zu reduzieren. Temperature Scaling ist eine Nachbearbeitungsmethode, die die Logits durch einen gelernten Temperaturparameter dividiert, bevor die Softmax-Funktion angewendet wird. Sie ändert nicht die Vorhersagen des Modells, sondern passt die Konfidenzverteilung an. Andere Post-hoc-Methoden umfassen Top-P (Nucleus) Sampling und Top-K Sampling, die hauptsächlich zur Generierung verwendet werden, aber auch die Kalibrierung beeinflussen können, indem sie die Wahrscheinlichkeitsverteilung verändern.
Zu den In-Training-Methoden gehört das Hinzufügen eines Regularisierungsterms zur Verlustfunktion, der Fehlkalibrierung bestraft, oder die Verwendung von Batch Normalization und Dropout auf eine Weise, die die Kalibrierung implizit verbessert. Label-Smoothing ist eine weitere gängige Technik, die die Zielverteilung aufweicht und oft zu besserer Kalibrierung führt, allerdings auf Kosten einer leicht geringeren Genauigkeit. Für neuronale Netze können auch die Wahl der Weight Initialization und des Learning Rate Scheduling die Kalibrierung beeinflussen, obwohl die Effekte weniger direkt sind.
Einschränkungen und Kritik
Der ECE hat bekannte Einschränkungen. Die Wahl des Binnings kann den berichteten Wert erheblich beeinflussen, und unterschiedliche Bin-Anzahlen können zu unterschiedlichen Schlussfolgerungen führen. Zudem ist der ECE empfindlich gegenüber der Verteilung der Konfidenzen; wenn die meisten Vorhersagen in ein einzelnes Bin fallen, wird die Metrik weniger aussagekräftig. Einige Forscher haben alternative Metriken wie klassenspezifischen ECE oder statischen Kalibrierungsfehler vorgeschlagen, um diese Probleme zu beheben, aber sie wurden nicht weit verbreitet übernommen.
Eine weitere Kritik ist, dass der ECE alle Fehler gleich behandelt, unabhängig von den Kosten einer Fehlklassifikation. In Anwendungen wie medizinischer Diagnose oder autonomem Fahren kann eine fehlkalibrierte Konfidenz in einer seltenen, aber kritischen Klasse schädlicher sein als ein häufiger Fehler. ECE erfasst diese Asymmetrie nicht, daher ergänzen Praktiker ihn oft um domänenspezifische Metriken.
Praktische Überlegungen
Bei der Berichterstattung über ECE ist es wichtig, die Anzahl der Bins und die Methode zur Berechnung der Genauigkeit anzugeben. Bei Mehrklassenproblemen wird ECE typischerweise berechnet, indem jede Klasse als binäres Problem behandelt und gemittelt wird, oder indem die maximale Konfidenz über die Klassen verwendet wird. In der Praxis bieten viele Bibliotheken wie scikit-learn und PyTorch integrierte Funktionen zur Berechnung des ECE, aber die Implementierungen können leicht variieren, daher sollten Ergebnisse mit Vorsicht verglichen werden.
Der ECE wird auch bei der Modellauswahl und -überwachung verwendet. Beispielsweise kann der ECE in maschinellen Lernpipelines von Amazon Web Services und Google Cloud im Laufe der Zeit verfolgt werden, um die Kalibrierung von Modellen zu überwachen. Ebenso werden in Bereitstellungen von Microsoft Azure Kalibrierungsmetriken verwendet, um sicherzustellen, dass Modelle zuverlässig bleiben.
Zukunftsperspektiven
Die Forschung zur Kalibrierung ist ongoing, insbesondere bei Transformer (architecture)-basierten Modellen und Multi-Head Attention. Neue Methoden zielen darauf ab, Kalibrierungsgarantien zu bieten, wie konforme Vorhersagen, die Mengen von Vorhersagen mit einer spezifizierten Abdeckungswahrscheinlichkeit liefern. Diese Ansätze könnten eine robustere Unsicherheitsquantifizierung bieten.
Da Artificial intelligence-Systeme in kritischeren Bereichen eingesetzt werden, wird die Bedeutung des ECE wahrscheinlich zunehmen. Die Entwicklung standardisierter Benchmarks und die Einbeziehung kalibrierungsbewusster Trainingsziele könnten dazu beitragen, dass Modelle nicht nur genau, sondern auch zuverlässig in ihren Konfidenzaussagen sind.