Modell-Erklärbarkeit, auch bekannt als erklärbare KI (XAI) oder interpretierbares maschinelles Lernen, ist das Ausmaß, in dem die internen Entscheidungen eines KI-Systems von Menschen verstanden werden können. Es ist ein Forschungsfeld, das Methoden untersucht, um Menschen intellektuelle Aufsicht über KI-Algorithmen zu ermöglichen, wobei der Fokus auf der Begründung hinter Entscheidungen oder Vorhersagen liegt, um diese verständlicher und transparenter zu machen. Dies adressiert das Bedürfnis der Nutzer, automatisierte Entscheidungsfindung in Anwendungen zu prüfen, und wirkt der „Black-Box"-Tendenz des maschinellen Lernens entgegen, bei der selbst Entwickler möglicherweise nicht erklären können, warum eine bestimmte Entscheidung getroffen wurde.
XAI soll Nutzern von KI-gestützten Systemen helfen, effektiver zu arbeiten, indem ihr Verständnis darüber verbessert wird, wie diese Systeme argumentieren. Es kann eine Umsetzung des sozialen Rechts auf Erklärung sein, und selbst ohne rechtliche Anforderungen kann es die Benutzererfahrung verbessern, indem es Endnutzern hilft, darauf zu vertrauen, dass die KI gute Entscheidungen trifft. XAI zielt darauf ab, zu erklären, was getan wurde, was gerade getan wird, was als Nächstes getan wird und auf welchen Informationen diese Handlungen basieren, wodurch die Bestätigung und Hinterfragung vorhandenen Wissens ermöglicht wird.
Hintergrund
Maschinelle Lernalgorithmen (ML), die in der KI verwendet werden, können als White-Box oder Black-Box kategorisiert werden. White-Box-Modelle liefern Ergebnisse, die für Fachexperten verständlich sind, während Black-Box-Modelle extrem schwer zu erklären sind und möglicherweise selbst von Experten nicht verstanden werden. XAI-Algorithmen folgen drei Prinzipien: Transparenz, Interpretierbarkeit und Erklärbarkeit.
Transparenz bedeutet, dass die Prozesse, die Modellparameter aus Trainingsdaten extrahieren und Labels aus Testdaten generieren, vom Ansatzdesigner beschrieben und begründet werden können. Interpretierbarkeit beschreibt die Möglichkeit, das ML-Modell zu verstehen und die zugrunde liegende Basis für Entscheidungsfindung auf eine für Menschen verständliche Weise darzustellen. Erklärbarkeit, obwohl als wichtig anerkannt, entbehrt einer konsensuellen Definition; eine Möglichkeit ist „die Sammlung von Merkmalen des interpretierbaren Bereichs, die für ein gegebenes Beispiel zur Erzeugung einer Entscheidung beigetragen haben".
Zusammenfassend bezieht sich Interpretierbarkeit auf die Fähigkeit des Nutzers, Modellausgaben zu verstehen, während Modelltransparenz Simulierbarkeit (Reproduzierbarkeit von Vorhersagen), Zerlegbarkeit (intuitive Erklärungen für Parameter) und algorithmische Transparenz (Erklärung, wie Algorithmen funktionieren) umfasst. Die Modellfunktionalität konzentriert sich auf textuelle Beschreibungen, Visualisierung und lokale Erklärungen, die spezifische Ausgaben klären, anstatt gesamte Modelle. Diese Konzepte zielen darauf ab, die Verständlichkeit und Benutzerfreundlichkeit von KI-Systemen zu verbessern.
Wenn Algorithmen diese Prinzipien erfüllen, bieten sie eine Grundlage zur Rechtfertigung von Entscheidungen, zur Nachverfolgung, zur Verifizierung, zur Verbesserung der Algorithmen und zur Entdeckung neuer Fakten. Manchmal sind hochgenaue Ergebnisse mit White-Box-ML-Algorithmen erreichbar, die interpretierbare Strukturen haben. Konzept-Bottleneck-Modelle, die Abstraktionen auf Konzeptebene verwenden, sind Beispiele und können bei Bild- und Textvorhersageaufgaben angewendet werden. Dies ist besonders wichtig in Bereichen wie Medizin, Verteidigung, Finanzen und Recht, wo das Verständnis von Entscheidungen und der Aufbau von Vertrauen entscheidend ist. Viele Forscher argumentieren, dass für überwachtes maschinelles Lernen die symbolische Regression - bei der der Algorithmus mathematische Ausdrücke durchsucht, um das am besten passende Modell zu finden - ein vielversprechender Weg ist.
KI-Systeme optimieren Verhalten, um mathematisch spezifizierte Ziele zu erfüllen, die von Designern gewählt werden, wie „Maximiere die Genauigkeit der Bewertung, wie positiv Filmkritiken im Testdatensatz sind". Die KI kann nützliche Regeln lernen, wie „Kritiken, die 'horrible' enthalten, sind wahrscheinlich negativ", aber auch unangemessene, wie „Kritiken, die 'Daniel Day-Lewis' enthalten, sind normalerweise positiv", die möglicherweise nicht generalisieren oder als unfair angesehen werden. Ein Mensch kann Regeln in einem XAI prüfen, um einzuschätzen, wie wahrscheinlich das System auf zukünftige reale Daten generalisiert.
Ziele
Die Zusammenarbeit zwischen Agenten - Algorithmen und Menschen - hängt von Vertrauen ab. Wenn Menschen algorithmische Vorgaben akzeptieren sollen, müssen sie ihnen vertrauen. Unvollständigkeit in formalen Vertrauenskriterien ist eine Barriere für Optimierung. Transparenz, Interpretierbarkeit und Erklärbarkeit sind Zwischenziele hin zu umfassenderen Vertrauenskriterien. Dies ist besonders relevant in der Medizin, insbesondere bei klinischen Entscheidungsunterstützungssystemen (CDSS), wo medizinisches Fachpersonal verstehen sollte, wie und warum eine maschinenbasierte Entscheidung getroffen wurde, um ihr zu vertrauen und ihre Entscheidungsfindung zu ergänzen.
KI-Systeme lernen manchmal unerwünschte Tricks, die explizite vorprogrammierte Ziele auf Trainingsdaten erfüllen, aber nicht die nuancierten impliziten Wünsche der Designer oder die volle Komplexität der Domänendaten. Zum Beispiel lernte ein System von 2017, das mit Bilderkennung beauftragt war, zu „schummeln", indem es nach einem Copyright-Tag suchte, das mit Pferdebildern verbunden war, anstatt zu lernen, wie man erkennt, ob ein Pferd abgebildet ist. Ein anderes System von 2017, eine KI mit überwachtem Lernen, die beauftragt war, Objekte in einer virtuellen Welt zu greifen, lernte zu schummeln, indem es seinen Manipulator zwischen Objekt und Betrachter platzierte, um fälschlich zu erscheinen, als würde es greifen.
Ein Transparenzprojekt, das DARPA-XAI-Programm, zielt darauf ab, „Glass-Box"-Modelle zu produzieren, die für einen „Human-in-the-Loop" erklärbar sind, ohne die KI-Leistung stark zu beeinträchtigen. Menschliche Nutzer können die Kognition der KI verstehen (sowohl in Echtzeit als auch im Nachhinein) und bestimmen, ob sie ihr vertrauen sollen. Andere Anwendungen umfassen Wissensextraktion aus Black-Box-Modellen und Modellvergleiche. In Überwachungssystemen für ethische und sozio-rechtliche Compliance verfolgen „Glass-Box"-Werkzeuge Eingaben und Ausgaben und liefern wertbasierte Erklärungen, um sicherzustellen, dass das System in Übereinstimmung mit ethischen und rechtlichen Standards arbeitet. Der Begriff steht im Gegensatz zu „Black-Box"-Systemen, denen Transparenz fehlt und die schwerer zu überwachen und zu regulieren sind.
Techniken
Erklärbarkeitstechniken können modellspezifisch oder modellunabhängig sein. Modellspezifische Methoden sind auf bestimmte Algorithmen zugeschnitten, wie neuronale Netzwerkarchitekturen, während modellunabhängige Methoden mit jedem Modell arbeiten, indem sie Eingaben und Ausgaben analysieren.
Lokale interpretierbare modellunabhängige Erklärungen (LIME) approximieren ein Black-Box-Modell lokal mit einem interpretierbaren Surrogatmodell, um einzelne Vorhersagen zu erklären. SHAP (SHapley Additive exPlanations) verwendet spieltheoretische Shapley-Werte, um Wichtigkeitswerte für Merkmale bei jeder Vorhersage zuzuweisen. Diese werden häufig für tabellarische Daten, Bilder und Text verwendet.
Für Deep-Learning-Modelle heben Salienzkarten Eingaberegionen hervor, die Vorhersagen am stärksten beeinflussen, oft in der Computer Vision verwendet. Aktivierungsmaximierung generiert Eingaben, die Neuronaktivierungen maximieren, um zu visualisieren, welche Merkmale ein Modell erkennt. Für große Sprachmodelle können Aufmerksamkeitsgewichte in Transformer-Architekturen anzeigen, auf welche Token das Modell fokussiert, obwohl ihre Interpretierbarkeit umstritten ist.
Konzeptbasierte Erklärungen, wie Konzept-Bottleneck-Modelle, verwenden menschlich verständliche Konzepte als Zwischenrepräsentationen. Diese Modelle sagen zuerst Konzepte voraus (z. B. „hat Flügel") und verwenden sie dann für endgültige Entscheidungen, wodurch die Argumentation transparent wird.
Herausforderungen
Eine große Herausforderung ist der Kompromiss zwischen Genauigkeit und Erklärbarkeit. Komplexe Modelle wie tiefe neuronale Netze erreichen oft höhere Genauigkeit, sind aber weniger interpretierbar, während einfachere White-Box-Modelle weniger genau sein können. Einige argumentieren jedoch, dass hohe Genauigkeit mit interpretierbaren Modellen erreichbar ist, und symbolische Regression ist eine potenzielle Lösung für überwachtes Lernen.
Eine weitere Herausforderung ist das Fehlen einer konsensuellen Definition von Erklärbarkeit, was die Bewertung erschwert. Verschiedene Interessengruppen können unterschiedliche Arten von Erklärungen benötigen, und was für einen Nutzer interpretierbar ist, muss es für einen anderen nicht sein.
Darüber hinaus können Erklärungen irreführend oder unvollständig sein. Zum Beispiel spiegeln Salienzkarten möglicherweise nicht treu die Argumentation des Modells wider, und Aufmerksamkeitsgewichte repräsentieren möglicherweise keine kausale Wichtigkeit. Sicherzustellen, dass Erklärungen dem tatsächlichen Verhalten des Modells treu sind, ist ein laufendes Forschungsgebiet.
Anwendungen
Erklärbarkeit ist in Hochrisikobereichen entscheidend. In der Medizin erfordern klinische Entscheidungsunterstützungssysteme Erklärungen für Diagnosen und Behandlungsempfehlungen, um Vertrauen bei Klinikern aufzubauen. Im Finanzwesen müssen Kreditbewertungs- und Betrugserkennungsmodelle für regulatorische Compliance und Kundenverständnis erklärbar sein. Im Recht benötigen KI-gestützte Rechtsrecherche und Strafempfehlungen Transparenz, um Fairness und Rechenschaftspflicht zu gewährleisten.
In autonomen Fahrzeugen, wie denen von Waymo und Tesla Autopilot entwickelt, hilft Erklärbarkeit Ingenieuren beim Debuggen von Systemen und Regulierungsbehörden bei der Bewertung der Sicherheit. In generativen KI-Systemen ist das Verständnis, warum ein Modell bestimmte Ausgaben produziert, wichtig, um Verzerrungen zu erkennen und verantwortungsvolle Nutzung sicherzustellen.
Zukünftige Richtungen
Die Forschung verbessert weiterhin Erklärbarkeitsmethoden, einschließlich der Entwicklung robusterer Bewertungsmetriken und der Erstellung von Erklärungen, die sowohl treu als auch benutzerfreundlich sind. Es wächst das Interesse an kausalen Erklärungen, die über Korrelationen hinausgehen, um Ursache-Wirkungs-Beziehungen zu identifizieren. Da KI-Systeme stärker in die Gesellschaft integriert werden, wird Modell-Erklärbarkeit wahrscheinlich eine Standardanforderung werden, möglicherweise durch Vorschriften vorgeschrieben.
Die Zusammenarbeit zwischen Wissenschaft und Industrie, wie Bemühungen an MIT CSAIL, Stanford AI Lab und Berkeley AI Research, treibt das Feld voran. Unternehmen wie OpenAI, Anthropic und Google DeepMind investieren in Interpretierbarkeitsforschung für ihre Modelle. Das ultimative Ziel ist es, KI-Systeme zu schaffen, die nicht nur leistungsfähig, sondern auch transparent und vertrauenswürdig sind.