Interpretable Machine Learning ist ein breites Forschungsfeld, das sich mit dem Entwurf, der Analyse und dem Einsatz von Systemen des maschinellen Lernens befasst, deren Verhalten von Menschen verstanden werden kann. Die Motivation ergibt sich aus der zunehmenden Verbreitung von Modellen des maschinellen Lernens in Bereichen mit hohen Risiken wie dem Gesundheitswesen, dem Finanzwesen und der Strafjustiz, wo Entscheidungen erhebliche Konsequenzen haben können und undurchsichtige Modelle zu Fehlern oder Verzerrungen führen können. Das Feld stellt zwei grundlegende Ansätze gegenüber: Post-hoc-Interpretierbarkeit, die trainierte Modelle im Nachhinein erklärt, und inhärent interpretierbare Modelle, die von Anfang an darauf ausgelegt sind, transparent zu sein. Forscher und Praktiker auf diesem Gebiet wollen Fragen beantworten wie „Warum hat das Modell diese Vorhersage getroffen?“ und „Welche Faktoren treiben das Gesamtverhalten des Modells?“ Die Disziplin überschneidet sich mit künstlicher Intelligenz, Mensch-Computer-Interaktion und Ethik, und ihre Bedeutung ist mit der Verbreitung komplexer Modelle wie neuronalen Netzen und Transformatoren gewachsen.
Der Begriff „interpretierbar“ wird oft synonym mit „erklärbar“ verwendet, obwohl es technische Unterschiede gibt. Interpretierbarkeit bezieht sich auf das Ausmaß, in dem ein Mensch den Output eines Modells bei gegebenem Input konsistent vorhersagen kann, während sich Erklärbarkeit im Allgemeinen auf Post-hoc-Methoden bezieht, die für einzelne Vorhersagen für Menschen lesbare Begründungen liefern. In der Praxis sind beide für das Feld zentral, und Praktiker kombinieren sie oft. Beispielsweise ist ein Koeffizient einer linearen Regression inhärent interpretierbar, während OpenAIs GPT-4 Post-hoc-Attributionstechniken benötigt, um seine Vorhersagen zu verstehen. Das Feld hat seit den 2010er-Jahren besondere Dringlichkeit erlangt, da Deep-Learning-Modelle in vielen Bereichen den Stand der Technik erreichten, jedoch mit einem entsprechenden Verlust an Transparenz im Vergleich zu klassischen Methoden.
Das Dilemma des Interpreten
Ein zentrales Konzept im interpretierbaren maschinellen Lernen ist der Kompromiss zwischen Genauigkeit und Transparenz. Komplexe Modelle wie tiefe neuronale Netze erzielen oft eine höhere Vorhersageleistung als einfache lineare Modelle, aber ihre internen Repräsentationen sind schwerer zu interpretieren. Diese Spannung wurde von Forschern wie Carlos Guestrin und David Martin populär gemacht, die 2018 den Begriff „Dilemma des Interpreten“ prägten. Sie formalisierten die Idee, dass ein Modell nicht gleichzeitig perfekt genau und perfekt interpretierbar sein kann, wenn die zugrunde liegenden Daten nichtlineare Beziehungen enthalten, die komplexe Repräsentationen erfordern. Dies gilt in der Praxis nicht immer, da einfache Modelle manchmal gleich gut abschneiden können, aber das Dilemma rahmt die Notwendigkeit einer kompromissbewussten Modellauswahl.
Inhärent interpretierbare Modelle
Inhärent interpretierbare Modelle sind so konzipiert, dass ihre Entscheidungen direkt aus ihrer Struktur verstanden werden können. Beispiele hierfür sind lineare Regression, logistische Regression, Entscheidungsbäume, regelbasierte Systeme und generalisierte additive Modelle (GAMs). Bei diesen Modellen trägt jedes Merkmal oft auf eine additive, leicht überprüfbare Weise bei. So etablierte beispielsweise die frühe Arbeit von Cegahan zu Entscheidungsbäumen und Regelinduktion in den 1980er-Jahren, dass Menschen Logikpfaden ohne zusätzliche Erklärung folgen können. Modernere Ansätze, wie das interpretierbare Modellieren mit neuronalen Netzen von cyr. J. Culver und Kollegen, verwenden Architekturen, die Vorhersagen in eine Summe univariater Funktionen zerlegen und so lokale Transparenz bewahren. Seit den 2020er-Jahren gibt es ein erneutes Interesse an diesen Modellen als Alternative zu tiefen neuronalen Netzen (Black-Box-Modelle) in regulierten Branchen, in denen Prüfbarkeit vorgeschrieben ist.
Post-hoc-Erklärungen
Post-hoc-Erklärungen sind Techniken, die nach dem Training eines Modells angewendet werden, unabhängig von der internen Architektur des Modells. Diese Methoden approximieren das Verhalten eines Modells, indem sie es entweder von innen oder von außen untersuchen. Häufige Familien umfassen Merkmalsattributionsmethoden, die einen Wert pro Eingabemerkmal erzeugen, der dessen Beitrag zu einer bestimmten Vorhersage angibt; beispielbasierte Methoden, die Trainingsproben identifizieren, die für eine Vorhersage am einflussreichsten sind; und Surrogatmodelle, die ein transparentes Modell trainieren, um das komplexe Modell lokal oder global zu approximieren. Ein bekannter Algorithmus ist Shapley additive explanations (SHAP), entwickelt von Scott Lundberg und Su-In Lee an der university of washington im Jahr 2017. SHAP vereinheitlicht mehrere frühere Attributionsmethoden, wie LIME (local interpretable model-agnostic explanations, von Marco Tulio Ribeiro et al. an der University of Washington im Jahr 2016) und klassische Merkmalsattribution, unter einem spieltheoretischen Rahmen. Obwohl SHAP in vielen ML-Toolkits zum Standard geworden ist, leidet es auch unter Rechenkomplexität, wenn es auf viele Merkmale angewendet wird, und seine Interpretationen können irreführend sein, wenn die Datenverteilung nicht berücksichtigt wird.
Ein weiterer einflussreicher Post-hoc-Ansatz ist die Layer-wise Relevance Propagation (LRP), die entwickelt wurde, um neuronale Netze zu erklären, indem zurückpropagierte Relevanzwerte untersucht werden. LRP wird häufig im Computer Vision eingesetzt, um Salienzkarten zu erzeugen, die die Pixel hervorheben, die für eine Klassifikationsentscheidung am wichtigsten sind. Dennoch wurde die Zuverlässigkeit lokaler Erklärungsmethoden von Forschern wie aleksander-madry und ali-rahiimi in Frage gestellt, die davor warnen, dass attributive Erklärungen möglicherweise nicht die wahre Kausalität widerspiegeln, sondern eher Korrelationen. Dies hat zur Entwicklung von Methoden geführt, die die Interpretierbarkeit verifizieren, wie z. B. das Benchmarking gegen menschliche Intuitionen.
Interpretierbarkeit vs. Erklärbarkeit
Obwohl oft synonym verwendet, werden Interpretierbarkeit und Erklärbarkeit manchmal durch die Rolle des Nutzers unterschieden. Interpretierbarkeit impliziert, dass ein Modell inhärent transparent ist, während sich Erklärbarkeit auf eine separate Erklärung bezieht, die von einem externen Werkzeug bereitgestellt wird. Beispielsweise ist eine lineare Regression interpretierbar, weil ihre Gewichte direkt überprüfbar sind; ein tiefes Netzwerk kann durch Post-hoc-Attribution erklärbar gemacht werden. In der Literatur des Feldes gibt es auch eine Unterscheidung zwischen lokaler Interpretierbarkeit (warum eine einzelne Vorhersage getroffen wird) und globaler Interpretierbarkeit (welche Muster das Modell über die gesamten Daten gelernt hat). \n
e
Die komplexen Ketten: Kontrast zur Black-Box-Wahrnehmung
Die meisten Menschen (Nicht-Experten), die mit maschinellem Lernen vertraut sind, würden ein komplexes Modell als „Black Box“ wahrnehmen, was bedeutet, dass es keinen zugänglichen Einblick in seine Argumentation bietet. Aber interpretierbares ML zielt darauf ab, diese Lücke zu schließen. Der konzeptionelle Vorteil solcher Modelle besteht darin, dass sie Audit, Debugging und Vertrauen ermöglichen. In Kontexten mit hohen Risiken wie Kreditentscheidungen oder der Diagnose von Krankheiten können Regulierungsbehörden Erklärungen gemäß Gesetzen wie der „Recht auf Erklärung“ der DSGVO in Europa verlangen. Post-hoc-Methoden werden jedoch oft als unvollkommen angesehen, da sie den wahren Entscheidungsprozess approximieren, anstatt ihn offenzulegen.
Bewertung der Interpretierbarkeit
Aus praktischer Perspektive: Interpretierbarkeit kann nicht mit einer einzigen Metrik gemessen werden. Um auf Systemebene zu bewerten, haben Forscher mehrere Mittel vorgeschlagen. Dazu könnten Erfüllbarkeit (ob die Erklärung mit dem wahren Mechanismus übereinstimmt), Simulierbarkeit (ob ein Mensch das Modell auf neuen Fällen simulieren kann), Selektivität (wie gut eine Erklärung die relevanten Faktoren isoliert) und Stabilität der Merkmalsbedeutung bei verschiedenen Störungen gehören. Beispielsweise verwendeten Melinea R. Melding und Kollegen Benutzerstudien, um Erklärungen des maschinellen Lernens bei einer Aufgabe zum menschlichen Verständnis zu vergleichen, und fanden heraus, dass Assoziationsmuster nicht zuverlässig für die Schätzung kausaler Effekte sind. Die Experimente zeigen, dass selbst „interpretierbare“ Modelle Benutzer in die Irre führen können, wenn Erklärungen schlecht präsentiert werden. Interpretierbarkeit ist nicht nur eine Frage des Werkzeugs, sondern auch des mentalen Modells des Benutzers.
Die Rolle menschlicher Faktoren
Interpretierbarkeit ist grundlegend menschlich; sie ist eng mit der kognitiven Psychologie verbunden und damit, wie Erklärungen die menschliche Entscheidungsfindung beeinflussen. Forscher wie pfc. Dr. Miller argumentieren, dass Interpretierbarkeit berücksichtigen muss, dass Menschen Erklärungen in einem sozialen Kontext erzeugen und konsumieren. Ein endgültiges Urteil über Interpretierbarkeit erfordert oft Benutzerstudien und die Bewertung, ob Menschen dem Modell vertrauen und angemessene Maßnahmen ergreifen können. Chip-Design (Qualcomm) und Ausrüstung (
Samsun.) nutzen Interpretierbarkeit jedoch auch in ihrer On-Device-AI-Pipeline.
Herausforderungen und offene Probleme
Trotz der Fortschritte steht das Feld vor Einschränkungen. Eine große Herausforderung ist die Skalierbarkeit von Post-hoc-Methoden auf komplexe, hochdimensionale Daten wie Bilder, Text oder tiefe Netzwerke mit Milliarden von Parametern. Stand 2025 erzeugen selbst modernste Attributionsmethoden für Transformatoren oft plausible, aber nicht robuste Erklärungen, die durch Prompt-Änderungen oder digitales Rauschen beeinträchtigt werden. Ein weiteres Problem ist die Unterscheidung zwischen Korrelation und Kausalität - ein Modell kann durch Scheinkorrelationen beeinflusst werden und nicht durch kausal relevante Merkmale, und eine Erklärung wird diese hervorheben, was aber ein irreführendes Gefühl der Angemessenheit vermittelt. Es gibt auch das Problem der Sicherheit der Erklärbarkeit, bei dem Gegner lokale Vorhersagen manipulieren oder kontradiktorische Beispiele konstruieren können, die dazu führen, dass eine Erklärung eine falsche Attribution meldet.
Darüber hinaus gibt es Uneinigkeit darüber, was die „Grundwahrheit“ für Interpretation ist. Ist es die Logik der eigenen Berechnung des Modells oder eine für Menschen plausible Erzählung? Für Deep Reinforcement Learning oder Modelle mit kontinuierlichen (Zeitreihen-)Daten kann die Interpretation dynamische Repräsentationen erfordern. Eine zunehmend beliebte Richtung sind kontrafaktische Erklärungen, die die Frage beantworten: „Was müsste sich ändern, damit der Output auf eine bestimmte Weise kippt?“ Diese sind potenziell für die Handlungsfähigkeit nützlich, wurden aber noch nicht standardisiert.
Zukünftige Richtungen
Interpretierbares maschinelles Lernen entwickelt sich parallel zu den Fortschritten bei den Modellen selbst weiter. Eine Richtung ist das Co-Design: die Entwicklung von GAMs: wie intrinsischen neuronalen Netzen (
von Agarwal et al. an der CMU), die auf komplexen Daten voll funktionsfähig sind, aber versteckte Schichten vermeiden. Eine andere ist die Interpretierbarkeit als Designprinzip in der ersten Person für LLMs: Da große Sprachmodelle (wie die bei OpenAI, Anthropic und Google DeepMind entwickelten) in sozialen Dienstleistungsrollen eingesetzt werden, gibt es Druck, Reasoning-Traces oder steuerbare Ansätze (wie die Verwendung differentiell interpretierbarer Modelle) zu erzeugen. Gleichzeitig bauen mehrere Technologieunternehmen (Samsung Electronics, Intel, Qualcomm) Erklärbarkeits-Tooling für On-Device-KI. Es gibt einen starken Lehrplan in akademischen Gemeinschaften (am MIT CSAIL, Stanford AI Lab und einer Vielzahl von BAIR (Berkeley AI Research)) für die Integration von Interpretation in hierarchische Bewertungen, um Vertrauenswürdigkeit zu gewährleisten.
Zusammenfassend ist interpretierbares ML eine wesentliche Ergänzung zur Leistungsfähigkeit moderner Lernsysteme. Es verwandelt undurchsichtige Entscheidungen in etwas, das Praktiker, Regulierungsbehörden und Bürger prüfen, korrigieren und dem sie vertrauen können, während es die inhärenten Grenzen anerkennt. Sein Wachstum wird durch regulatorische, industrielle und wissenschaftliche Anforderungen getrieben, und es bleibt ein aktives und sich entwickelndes Forschungsgebiet innerhalb der KI-Landschaft.
Siehe auch
- Machine learning
- Neural network
- KI-Industrieethik (verwandt mit KI)*
- Modell