Unsicherheitsschätzung im maschinellen Lernen bezeichnet den Prozess, die Konfidenz der Vorhersagen eines Modells zu quantifizieren. Sie unterscheidet zwischen aleatorischer Unsicherheit, die aus inhärenter Zufälligkeit in den Daten resultiert, und epistemischer Unsicherheit, die aus einem Mangel an Modellwissen entsteht. Diese Unterscheidung ist entscheidend für Anwendungen, bei denen Entscheidungen auf Modellausgaben beruhen, wie etwa medizinische Diagnosen, autonomes Fahren und Finanzprognosen. Durch die Schätzung von Unsicherheit können Systeme Vorhersagen mit geringer Konfidenz kennzeichnen, menschliche Überprüfungen auslösen oder ihr Verhalten entsprechend anpassen.
Das Konzept stammt aus dem breiteren Feld der Unsicherheitsquantifizierung (UQ), das seit langem in der computergestützten Wissenschaft und Technik eingesetzt wird. UQ zielt darauf ab, Unsicherheiten sowohl in Computermodellen als auch in realen Experimenten zu charakterisieren, häufig unter Verwendung statistischer und probabilistischer Methoden. Im maschinellen Lernen hat die Unsicherheitsschätzung mit dem Aufstieg des Deep Learnings an Bedeutung gewonnen, wo Modelle oft übermäßig selbstsicher und schlecht kalibriert sind. Die Techniken reichen von Bayes'schen neuronalen Netzen über Ensemble-Methoden bis hin zu Kalibrierungsverfahren.
Quellen der Unsicherheit
Unsicherheit in Modellen des maschinellen Lernens kann aus mehreren Quellen stammen, die denen der traditionellen UQ ähneln. Parameterunsicherheit entsteht, wenn Modellparameter nicht genau bekannt sind, wie etwa Gewichte in einem neuronalen Netz, die aus begrenzten Daten geschätzt werden. Parametrische Unsicherheit resultiert aus Variabilität in Eingabevariablen, wie etwa Sensorrauschen bei Wahrnehmungsaufgaben. Strukturelle Unsicherheit, auch Modellinadäquanz genannt, tritt auf, wenn die Modellarchitektur oder Annahmen die wahre zugrunde liegende Funktion nicht perfekt erfassen. Algorithmische Unsicherheit stammt aus numerischen Näherungen beim Training oder der Inferenz, wie etwa stochastischem Gradientenabstieg oder endlicher Präzisionsarithmetik. Experimentelle Unsicherheit spiegelt Rauschen in den Trainingsdatenlabels wider, und Interpolationsunsicherheit entsteht, wenn Vorhersagen für Eingaben weit entfernt von der Trainingsverteilung gemacht werden.
Aleatorische vs. epistemische Unsicherheit
Die häufigste Taxonomie im maschinellen Lernen teilt Unsicherheit in zwei Kategorien. Aleatorische Unsicherheit, vom lateinischen 'alea' (Würfel), ist irreduzible Zufälligkeit, die den Daten inhärent ist. Zum Beispiel können bei der Bildklassifikation zwei identische Bilder unterschiedliche Labels haben, aufgrund von Labeling-Fehlern oder mehrdeutigem Inhalt. Diese Unsicherheit kann durch das Sammeln weiterer Daten nicht reduziert werden. Epistemische Unsicherheit, vom griechischen 'episteme' (Wissen), ist reduzierbare Unsicherheit aufgrund von Wissensmangel über das Modell oder die Daten. Sie kann durch das Sammeln weiterer Trainingsdaten, die Verbesserung der Modellarchitektur oder die Verwendung besserer Inferenzmethoden verringert werden. In der Praxis koexistieren beide Typen oft, und ihre Trennung ist ein zentrales Ziel der Unsicherheitsschätzung.
Bayes'sche Methoden
Die Bayes'sche Inferenz bietet einen prinzipiellen Rahmen für die Schätzung epistemischer Unsicherheit. In Bayes'schen neuronalen Netzen wird anstelle eines einzelnen Gewichtssatzes eine Posterior-Verteilung über die Gewichte gegeben die Trainingsdaten berechnet. Diese Posterior erfasst die Parameterunsicherheit, und Vorhersagen werden durch Integration über diese Verteilung gemacht. Allerdings ist die exakte Bayes'sche Inferenz für moderne tiefe Netze nicht handhabbar, daher werden Näherungen verwendet. Variationsinferenz approximiert die Posterior mit einer einfacheren Verteilung, während Markov-Ketten-Monte-Carlo-Methoden (MCMC) aus der Posterior sampeln. Dropout, eine gängige Regularisierungstechnik, kann als Bayes'sche Näherung interpretiert werden, wie von Yarin Gal im Jahr 2016 gezeigt, was Unsicherheitsschätzungen aus bestehenden Modellen ohne Architekturänderungen ermöglicht.
Ensemble-Methoden
Ensemble-Methoden bieten eine praktische Alternative zur expliziten Bayes'schen Inferenz. Durch das Training mehrerer Modelle mit unterschiedlichen Initialisierungen oder Datenteilmengen liefert die Varianz ihrer Vorhersagen eine Schätzung der epistemischen Unsicherheit. Deep Ensembles, eingeführt von Balaji Lakshminarayanan et al. im Jahr 2017, haben gezeigt, dass sie gut kalibrierte Unsicherheitsschätzungen erzeugen und einzelne Modelle übertreffen. Die Streuung der Vorhersagen der Ensemble-Mitglieder zeigt die Unsicherheit an, während die mittlere Vorhersage als endgültige Ausgabe dient. Ensembles werden in der Praxis aufgrund ihrer Einfachheit und Effektivität weit verbreitet eingesetzt, erfordern jedoch zusätzliche Rechenkosten.
Kalibrierung und Bewertung
Unsicherheitsschätzungen sind nur nützlich, wenn sie gut kalibriert sind, das heißt, eine vorhergesagte Wahrscheinlichkeit von 0,8 sollte in 80 % der Fälle korrekt sein. Kalibrierung wird typischerweise mit Zuverlässigkeitsdiagrammen und Metriken wie dem Expected Calibration Error (ECE) gemessen. Moderne neuronale Netze sind oft schlecht kalibriert, insbesondere wenn sie mit Techniken wie Kreuzentropie-Verlust und Batch-Normalisierung trainiert werden. Temperaturskalierung, eine Post-hoc-Kalibrierungsmethode, passt die Softmax-Temperatur an, um die Kalibrierung ohne Änderung der Genauigkeit zu verbessern. Andere Methoden umfassen Platt-Skalierung und isotonische Regression. Die Bewertung der Unsicherheitsschätzung umfasst auch Metriken wie den Brier-Score, die negative Log-Likelihood und die Abdeckung von Konfidenzintervallen.
Anwendungen im Deep Learning
Unsicherheitsschätzung ist in sicherheitskritischen Anwendungen entscheidend. Beim autonomen Fahren verwenden Systeme wie Waymo und Tesla Autopilot Unsicherheit, um zu entscheiden, wann sie sich auf Sensordaten verlassen oder menschliches Eingreifen anfordern. In der medizinischen Bildgebung hilft Unsicherheit Radiologen, Fälle für die Überprüfung zu priorisieren. In der Verarbeitung natürlicher Sprache können große Sprachmodelle wie die von OpenAI und Anthropic Unsicherheit in ihren Antworten ausdrücken, obwohl die Kalibrierung eine Herausforderung bleibt. Unsicherheit spielt auch eine Rolle beim aktiven Lernen, wo Modelle die unsichersten Stichproben zur Beschriftung auswählen, und beim Reinforcement Learning, wo sie die Erkundung leitet.
Herausforderungen und zukünftige Richtungen
Trotz Fortschritten steht die Unsicherheitsschätzung im Deep Learning vor mehreren Herausforderungen. Skalierbarkeit ist ein großes Problem, da Bayes'sche Methoden und Ensembles rechenintensiv sind. Adversariale Beispiele können Unsicherheitsschätzungen täuschen und sie übermäßig selbstsicher machen. Verteilungsverschiebung, bei der Testdaten von Trainingsdaten abweichen, ist besonders schwer zu erkennen. Die Forschung untersucht hybride Ansätze, wie die Kombination von Ensembles mit Bayes'schen Näherungen, und die Verwendung von Unsicherheit bei der Modellauswahl und Entscheidungsfindung. Da Modelle in immer kritischeren Bereichen eingesetzt werden, wird eine robuste Unsicherheitsschätzung zunehmend wichtiger.