Anker sind eine Technik im maschinellen Lernen zur Erzeugung lokaler Erklärungen von Modellvorhersagen. Sie wurden 2018 von Forschern der University of Washington unter der Leitung von Marco Tulio Ribeiro als Nachfolger der früheren LIME-Methode (Local Interpretable Model-agnostic Explanations) eingeführt. Anker liefern Erklärungen in Form einfacher, regelbasierter Bedingungen, die für eine bestimmte Vorhersage ausreichend sind, unabhängig von Änderungen anderer Merkmale. Im Gegensatz zu LIME, das ein Modell lokal mit einem linearen Modell approximiert, zielen Anker darauf ab, präzise Regeln mit hoher Genauigkeit zu erstellen, die klar abgrenzen, wann eine Vorhersage garantiert oder sehr wahrscheinlich ist.
Die Kernidee hinter Ankern besteht darin, die Frage zu beantworten: "Welche minimale Menge an Merkmalswerten, falls vorhanden, reicht aus, um das Modell zu derselben Ausgabe zu bringen?" Beispielsweise könnte ein Anker in einem Spam-Klassifikator lauten: "Wenn die E-Mail das Wort 'Lotterie' enthält und der Absender nicht in der Kontaktliste steht, dann ist die Vorhersage Spam", mit einer angegebenen Präzision von 0,95. Diese Regel gilt als Anker, weil sie die Vorhersage "verankert": Solange die Bedingungen gelten, bleibt die Vorhersage stabil, selbst wenn andere Merkmale variieren. Die Technik ist modellunabhängig, das heißt, sie kann auf jedes Black-Box-Modell angewendet werden, einschließlich neuronaler Netze, Deep-Learning-Systeme und großer Sprachmodelle, ohne Zugriff auf interne Parameter zu benötigen.
Formale Definition und Präzision
Formal ist ein Anker eine Regel, die aus einer Menge von Merkmals-Wert-Paaren besteht. Gegeben eine Instanz x, die erklärt werden soll, ist ein Anker A eine Menge von Prädikaten, die auf x zutreffen. Die Regel wird als Anker bezeichnet, wenn sie zwei Eigenschaften erfüllt: Abdeckung und Präzision. Abdeckung bezieht sich auf den Anteil der Instanzen in der lokalen Umgebung, die die Regel erfüllen, während Präzision die Wahrscheinlichkeit ist, dass die Vorhersage des Modells für Instanzen, die die Regel erfüllen, mit der Vorhersage für x übereinstimmt. Das Ziel ist es, eine Regel mit hoher Präzision (typischerweise über einem benutzerdefinierten Schwellenwert, wie 0,95) und möglichst hoher Abdeckung zu finden, um sicherzustellen, dass die Erklärung sowohl genau als auch breit anwendbar ist.
Um die Präzision ohne Aufzählung aller möglichen Störungen zu schätzen, verwenden Anker einen Multi-Armed-Bandit-Algorithmus. Der Algorithmus sampelt Störungen der ursprünglichen Instanz, wobei gestörte Instanzen durch Ersetzen von Merkmalswerten mit Werten aus einer Verteilung (häufig basierend auf den Trainingsdaten oder einem Hintergrunddatensatz) erzeugt werden. Der Bandit-Ansatz erkundet effizient den Raum möglicher Regeln und konzentriert sich auf solche, die wahrscheinlich hohe Präzision haben. Der endgültige Anker ist die Regel, die die Abdeckung unter der Präzisionsbeschränkung maximiert, mit statistischen Garantien basierend auf der Anzahl der Stichproben.
Vergleich mit LIME
Anker wurden als Reaktion auf die Einschränkungen von LIME entwickelt, das ebenfalls von Ribeiro und Kollegen im Jahr 2016 eingeführt wurde. LIME erklärt Vorhersagen, indem es ein dünn besetztes lineares Modell in der Umgebung der Instanz anpasst, aber das lineare Modell kann für stark nichtlineare Entscheidungsgrenzen irreführend sein. Beispielsweise könnte eine lineare Approximation nahelegen, dass ein Merkmal einen positiven oder negativen Effekt hat, aber in Wirklichkeit könnte der Effekt von anderen Merkmalen abhängig sein. Anker vermeiden dies, indem sie explizite Wenn-Dann-Regeln liefern, die ausreichend sind, was sie für menschliche Benutzer intuitiver macht. Darüber hinaus sind LIME-Erklärungen nicht garantiert treu zum Verhalten des Modells, während Anker ein Präzisionsmaß liefern, das die Fidelität quantifiziert.
Ein weiterer wesentlicher Unterschied besteht darin, dass LIME Erklärungen erzeugt, die lokal sind und mit dem Störungskern variieren können, während Anker darauf abzielen, stabiler und interpretierbarer zu sein. Anker sind auch darauf ausgelegt, handlungsorientierter zu sein: Eine Regel wie "wenn Merkmal A und Merkmal B, dann Vorhersage C" kann direkt verwendet werden, um das System zu verstehen und möglicherweise einzugreifen.
Algorithmus und Implementierung
Der Anker-Algorithmus arbeitet in zwei Hauptphasen: Kandidatengenerierung und Validierung. In der ersten Phase generiert er Kandidatenregeln, indem er Kombinationen von Merkmalswerten aus der Instanz berücksichtigt. Für kontinuierliche Merkmale diskretisiert er sie in Intervalle (z. B. unter Verwendung von Quantilen), um Prädikate zu erstellen. Der Algorithmus verwendet eine Strahlensuche, um den Raum der Regeln zu erkunden, beginnend mit den häufigsten Merkmalswerten und expandierend. In der Validierungsphase wird jede Kandidatenregel getestet, indem Störungen gesampelt und die empirische Präzision berechnet werden. Der Bandit-Algorithmus (insbesondere der KL-LUCB-Algorithmus) wird verwendet, um Stichproben effizient zuzuweisen und zu stoppen, wenn die Präzisionsschätzung sicher genug ist.
Die Implementierung, verfügbar in der Open-Source-Bibliothek anchor (Teil der interpret-Bibliothek von Microsoft), unterstützt sowohl tabellarische Daten, Text als auch Bilder. Für Text können Anker auf dem Vorhandensein oder Fehlen von Wörtern basieren (z. B. "wenn der Ausdruck 'nicht schlecht' erscheint, dann ist die Stimmung positiv"). Für Bilder verwenden Anker Superpixel (Segmente des Bildes) als Merkmale, und die Regel könnte lauten: "wenn diese Pixel vorhanden sind, dann wird das Bild als Hund klassifiziert." Die Bibliothek bietet auch Visualisierungswerkzeuge, um Anker in einem menschenlesbaren Format anzuzeigen.
Anwendungen in der Praxis
Anker wurden in verschiedenen Bereichen angewendet, in denen Modellinterpretierbarkeit entscheidend ist. Im Gesundheitswesen können Anker erklären, warum ein Modell vorhersagt, dass ein Patient eine bestimmte Krankheit hat, basierend auf Merkmalen wie Alter, Blutdruck und Laborergebnissen. Beispielsweise könnte ein Anker lauten: "wenn Alter > 60 und systolischer Blutdruck > 140, dann hohes Risiko für Herzkrankheiten." Dies hilft Klinikern, die Entscheidungen des Modells zu vertrauen und zu validieren. Im Finanzwesen können Anker Kreditgenehmigungsentscheidungen erklären und die Einhaltung von Vorschriften sicherstellen, die Erklärungen für nachteilige Maßnahmen erfordern. Bei der Betrugserkennung können Anker die Kombination von Transaktionsmerkmalen hervorheben, die einen Betrugsalarm auslösen.
Im Kontext von generativer KI und großen Sprachmodellen wurden Anker verwendet, um zu erklären, warum ein Modell eine bestimmte Antwort generiert. Beispielsweise könnte ein Anker für einen Stimmungsklassifikator lauten: "wenn der Text 'Liebe' und 'erstaunlich' enthält, dann ist die Stimmung positiv." Für LLMs ist der Merkmalsraum jedoch komplexer, und Anker basieren oft auf Token-Ebene-Merkmalen. Forscher haben auch untersucht, Anker zum Debuggen von Modellen zu verwenden, indem sie Scheinkorrelationen identifizieren, die zu falschen Vorhersagen führen.
Einschränkungen und Herausforderungen
Trotz ihrer Vorteile haben Anker mehrere Einschränkungen. Erstens sind sie nur so gut wie die Störungsverteilung, die zur Erzeugung kontrafaktischer Instanzen verwendet wird. Wenn die Verteilung keine realistischen Variationen widerspiegelt, können die Präzisionsschätzungen irreführend sein. Zweitens können Anker rechenintensiv sein, insbesondere für hochdimensionale Daten, da der Suchraum exponentiell wächst. Drittens kann die Diskretisierung kontinuierlicher Merkmale zu Regeln führen, die zu grob oder zu fein sind, was die Interpretierbarkeit beeinträchtigt. Viertens liefern Anker ausreichende, aber nicht notwendige Bedingungen, sodass sie möglicherweise nicht vollständig erklären, warum eine Vorhersage gemacht wurde; es könnte mehrere Anker für dieselbe Vorhersage geben, und der Algorithmus findet nur einen.
Eine weitere Herausforderung besteht darin, dass Anker im Störungsprozess Merkmalsunabhängigkeit annehmen, die in realen Daten möglicherweise nicht gilt. Beispielsweise ist in Text das Vorhandensein bestimmter Wörter oft korreliert, aber die Störung könnte sie unabhängig behandeln, was zu unrealistischen Stichproben führt. Forscher haben Erweiterungen vorgeschlagen, um Abhängigkeiten zu behandeln, aber diese sind noch nicht Standard.
Erweiterungen und verwandte Arbeiten
Seit der Einführung von Ankern wurden mehrere Erweiterungen vorgeschlagen. Eine bemerkenswerte Erweiterung ist die Verwendung von Entscheidungsregeln für globale Erklärungen, wie in der SkopeRules-Bibliothek, die Regeln aus Baum-Ensembles extrahiert. Eine andere ist die Integration von Ankern mit kontrafaktischen Erklärungen, bei denen das Ziel darin besteht, minimale Änderungen zu finden, um die Vorhersage umzukehren. Anker sind auch mit dem Konzept der "hinreichenden Gründe" in der formalen Erklärbarkeit verwandt, das darauf abzielt, minimale Teilmengen von Merkmalen zu berechnen, die eine Vorhersage garantieren. In dieser Forschungslinie wurden Algorithmen entwickelt, um exakte Anker für Modelle wie Entscheidungsbäume und neuronale Netze unter Verwendung formaler Verifikationstechniken zu berechnen.
Im breiteren Feld der erklärbaren KI (XAI) stehen Anker neben anderen lokalen Erklärungsmethoden wie SHAP (SHapley Additive exPlanations), das Merkmalsattributionen basierend auf Spieltheorie liefert. Während SHAP eine globale Sicht auf die Merkmalsbedeutung bietet, liefern Anker eine direktere regelbasierte Erklärung. Einige Studien haben die beiden verglichen und festgestellt, dass Anker für Nicht-Experten oft intuitiver sind, während SHAP umfassender ist.
Auswirkungen und zukünftige Richtungen
Die Einführung von Ankern hat die Entwicklung von Interpretierbarkeitswerkzeugen in der Industrie beeinflusst. Große Cloud-Anbieter, einschließlich Amazon Web Services, Microsoft Azure und Google Cloud, haben regelbasierte Erklärungsmethoden in ihre Machine-Learning-Plattformen integriert, sodass Benutzer Anker für auf ihrer Infrastruktur bereitgestellte Modelle generieren können. Beispielsweise enthält AWS SageMaker Clarify eine Funktion zur Generierung von Erklärungen ähnlich wie Anker, und Azure Machine Learning bietet Interpretierbarkeitskomponenten, die regelbasierte Erklärungen umfassen.
Zukünftige Forschungsrichtungen umfassen die Verbesserung der Skalierbarkeit von Ankern auf hochdimensionale Daten, die Entwicklung von Methoden zur Behandlung von Merkmalsabhängigkeiten und die Integration von Ankern mit interaktiven Werkzeugen, die es Benutzern ermöglichen, alternative Regeln zu erkunden. Darüber hinaus besteht mit zunehmender Komplexität von Deep-Learning-Modellen ein wachsender Bedarf an Erklärungen, die sowohl treu als auch verständlich sind, und Anker sind gut positioniert, um diesen Bedarf zu decken, insbesondere in Kombination mit anderen Techniken wie Modellbeschneidung und Datenaugmentation, um die Modell-Einfachheit zu verbessern.
Zusammenfassend stellen Anker einen bedeutenden Schritt in der lokalen Interpretierbarkeit dar und bieten ein Gleichgewicht zwischen Fidelität und menschlichem Verständnis. Durch die Bereitstellung hinreichender Bedingungen für Vorhersagen ermöglichen sie es Interessengruppen, KI-Systeme zu verstehen und zu vertrauen, was für eine verantwortungsvolle Bereitstellung in Hochrisikobereichen unerlässlich ist.