Erkennung von Verteilungsabweichungen

Out-of-Distribution (OOD)-Erkennung ist ein Teilgebiet des maschinellen Lernens, das sich mit der Identifizierung von Eingaben befasst, die nicht derselben statistischen Verteilung angehören wie die Daten, mit denen ein Modell trainiert wurde. In eingesetzten Systemen stoßen Modelle häufig auf Eingaben, die neuartig, anormal oder aus anderen Domänen stammen, und das Nichterkennen dieser kann zu falschen Vorhersagen mit potenziell schwerwiegenden Folgen führen. Die OOD-Erkennung zielt darauf ab, solche Eingaben zu kennzeichnen, damit Systeme angemessen reagieren können, beispielsweise durch Enthaltung, Eskalation an einen Menschen oder Auslösen eines Fallback-Mechanismus.

Das Problem unterscheidet sich von verwandten Aufgaben wie der Anomalieerkennung oder der Neuartigkeitserkennung, auch wenn die Begriffe manchmal synonym verwendet werden. Die OOD-Erkennung geht typischerweise von einer bekannten Trainingsverteilung aus und konzentriert sich auf Eingaben, die außerhalb deren Trägers liegen, während die Anomalieerkennung auch seltene Ereignisse innerhalb der Verteilung berücksichtigen kann. Im modernen Deep Learning ist die OOD-Erkennung zu einem kritischen Bestandteil für den Einsatz von neuronalen Netzen in sicherheitskritischen Bereichen wie dem autonomen Fahren, der medizinischen Diagnostik und der Erkennung von Finanzbetrug geworden.

Methoden und Ansätze

Frühe OOD-Erkennungsmethoden stützten sich auf die Softmax-Konfidenzwerte von Klassifikationsnetzwerken und beobachteten, dass Modelle dazu neigen, OOD-Eingaben niedrigere Konfidenzwerte zuzuweisen. Allerdings sind neuronale Netze oft übermäßig selbstsicher, und dieser Ansatz erwies sich als unzuverlässig. Die anschließende Forschung führte robustere Techniken ein, darunter die Temperaturskalierung, die die Softmax-Verteilung anpasst, um In-Distribution- und OOD-Stichproben besser zu trennen. Die als ODIN (Out-of-Distribution-Detektor für neuronale Netze) bekannte Methode kombinierte die Temperaturskalierung mit einer Eingabevorverarbeitung, um den Unterschied zu verstärken.

Eine andere Forschungsrichtung verwendet distanzbasierte Metriken im Merkmalsraum. Modelle wie der Deep-Nearest-Neighbor-Ansatz (DNN) berechnen die Distanz zwischen der Merkmalsdarstellung einer Eingabe und den Zentroiden der Trainingsklassen und kennzeichnen Eingaben, die weit von allen Zentroiden entfernt sind. Methoden auf Basis der Mahalanobis-Distanz modellieren die Merkmalsverteilung als multivariate Gauß-Verteilung und verwenden die Mahalanobis-Distanz als Bewertungsmaß, was eine starke Leistung auf Benchmark-Datensätzen zeigt.

Auch generative Modelle wurden für die OOD-Erkennung eingesetzt. Ansätze mit generativen KI-Modellen wie variational autoencoders (VAEs) und generative adversarial networks (GANs) versuchen, die Trainingsverteilung explizit zu modellieren und die Wahrscheinlichkeit einer Testeingabe unter diesem Modell zu messen. Allerdings wurde gezeigt, dass wahrscheinlichkeitsbasierte Methoden OOD-Eingaben manchmal eine höhere Wahrscheinlichkeit zuweisen, ein kontraintuitives Phänomen, das weitere Forschung darüber angestoßen hat, warum sich tiefe generative Modelle so verhalten.

Evaluierung und Benchmarks

Standard-Benchmarks für die OOD-Erkennung umfassen Datensätze wie CIFAR-10, CIFAR-100 und ImageNet als In-Distribution-Daten, wobei OOD-Mengen aus anderen Datensätzen wie SVHN, Tiny ImageNet oder LSUN gezogen werden. Zu den häufig verwendeten Metriken gehören die Fläche unter der Receiver-Operating-Characteristic-Kurve (AUROC), die Falsch-Positiv-Rate bei einer festen Richtig-Positiv-Rate (FPR@TPR) und die Erkennungsfehlerrate. Diese Metriken ermöglichen es Forschern, Methoden über verschiedene Einstellungen und Schwellenwerte hinweg zu vergleichen.

In den letzten Jahren wurden die Benchmarks erweitert, um anspruchsvollere Szenarien einzubeziehen, wie etwa semantische Verschiebungen (bei denen OOD-Eingaben aus neuartigen Klassen stammen) und Kovariatenverschiebungen (bei denen sich die Eingabeverteilung ändert, der Labelraum jedoch gleich bleibt). Der OpenOOD-Benchmark, der 2021 eingeführt wurde, bietet einen einheitlichen Rahmen für die Bewertung von OOD-Erkennungsmethoden über mehrere Aufgaben und Datensätze hinweg und trägt so zur Standardisierung von Vergleichen bei.

Herausforderungen und Grenzen

Trotz der Fortschritte bleibt die OOD-Erkennung ein offenes Problem. Eine große Herausforderung ist das Problem der Überkonfidenz: Tiefe Netze erzeugen oft Vorhersagen mit hoher Konfidenz für Eingaben, die weit von der Trainingsverteilung entfernt sind. Dies ist besonders problematisch bei großen Sprachmodellen (LLMs), bei denen der Eingaberaum diskret und hochdimensional ist, was es schwierig macht zu definieren, was eine OOD-Eingabe darstellt. Bei Transformer-basierten Modellen umfasst die OOD-Erkennung oft die Analyse von Token-Wahrscheinlichkeiten oder Einbettungen, aber diese Methoden befinden sich noch in einem frühen Entwicklungsstadium.

Eine weitere Herausforderung ist der Fluch der Dimensionalität. In hochdimensionalen Räumen werden Distanzen weniger aussagekräftig und die Dichteschätzung wird rechnerisch schwierig. Dies betrifft sowohl distanzbasierte als auch wahrscheinlichkeitsbasierte Methoden. Darüber hinaus sind OOD-Erkennungsmethoden oft empfindlich gegenüber der Wahl der Hyperparameter und der spezifischen Architektur, was die Verallgemeinerung über verschiedene Modelle hinweg erschwert.

Es gibt auch eine theoretische Einschränkung: Ohne Annahmen über die OOD-Verteilung ist es unmöglich, eine perfekte Erkennung zu garantieren. Dies hat zu Forschungsarbeiten über beweisbar robuste OOD-Erkennung geführt, die jedoch häufig restriktive Annahmen über den Datenerzeugungsprozess erfordert.

Anwendungen und zukünftige Richtungen

Die OOD-Erkennung wird häufig in sicherheitskritischen Systemen eingesetzt. Beim autonomen Fahren beispielsweise muss ein Wahrnehmungssystem erkennen, wenn es ein Objekt oder eine Szene antrifft, die nicht Teil des Trainings war, wie etwa ein ungewöhnliches Straßenhindernis. Unternehmen wie Waymo und Tesla Autopilot investieren in robuste OOD-Erkennung, um Unfälle zu vermeiden. Im Gesundheitswesen hilft die OOD-Erkennung dabei, medizinische Bilder zu kennzeichnen, die von der Trainingsmenge abweichen, wodurch das Risiko von Fehldiagnosen verringert wird. Im Finanzwesen kann sie betrügerische Transaktionen identifizieren, die von normalen Mustern abweichen.

Für große Sprachmodelle wird die OOD-Erkennung verwendet, um Eingabeaufforderungen zu identifizieren, die außerhalb des definierten Anwendungsbereichs liegen oder feindlich sind, was dazu beiträgt, Halluzinationen und Missbrauch zu mildern. Die Forschung auf diesem Gebiet ist noch im Gange, mit Methoden, die die internen Darstellungen von Transformatoren oder die Unsicherheit von Token-Vorhersagen nutzen.

Zukünftige Richtungen umfassen die Entwicklung von OOD-Erkennungsmethoden, die modellunabhängig sind und auf verschiedene Architekturen angewendet werden können, einschließlich neuronaler Netze und Transformatoren. Es besteht auch Interesse am kontinuierlichen Lernen, bei dem Modelle OOD-Eingaben erkennen müssen, während sie sich an neue Verteilungen anpassen. Da KI-Systeme immer allgegenwärtiger werden, wird eine zuverlässige OOD-Erkennung entscheidend sein, um vertrauenswürdige und robuste Systeme aufzubauen.

Siehe auch

• Anomalieerkennung
• Konfidenzkalibrierung
• Verteilungsverschiebung
• Robustheit