Explainable AI, allgemein als XAI abgekürzt, ist das Teilgebiet der künstlichen Intelligenz, das sich damit befasst, die internen Abläufe oder Ausgaben eines Modells für menschliche Nutzer verständlich zu machen. Die Notwendigkeit von Erklärbarkeit wuchs mit dem Übergang von einfachen, von Natur aus interpretierbaren Modellen wie linearer Regression und Entscheidungsbäumen hin zu komplexen Neuronale-Netze-Architekturen, deren Vorhersagen aus Millionen oder Milliarden gelernter Parameter entstehen, die auf eine Weise interagieren, die für einen menschlichen Leser nicht direkt nachvollziehbar ist - eine Einschränkung, die weithin als Black-Box-Problem bezeichnet wird. XAI-Methoden zielen darauf ab, diese Lücke zu schließen, indem sie Erklärungen erzeugen, entweder in das Design eines Modells eingebaut oder im Nachhinein generiert, ohne dass unbedingt eine vollständige mechanistische Darstellung der internen Berechnung des Modells erforderlich ist.
Motivationen
Die Nachfrage nach Erklärbarkeit kommt aus mehreren Richtungen. Regulierungsbehörden in Bereichen wie Kreditwesen, Gesundheitswesen und Strafjustiz verlangen zunehmend, dass automatisierte Entscheidungen, die Einzelpersonen betreffen, erklärbar sind - ein Prinzip, das auch in der Datenschutz-Grundverordnung der EU und im EU-KI-Gesetz zum Ausdruck kommt. Entwickler nutzen Erklärungen, um Modelle zu debuggen und Scheinkorrelationen zu erkennen, etwa wenn ein Modell lernt, ein Tier anhand des Hintergrundterrain statt des Tieres selbst zu erkennen. Erklärungen unterstützen auch Bemühungen zur Erkennung und Korrektur von algorithmischer Verzerrung sowie den Aufbau von Nutzervertrauen in Systeme, die für folgenreiche Entscheidungen verwendet werden.
Techniken
XAI-Methoden werden üblicherweise in zwei Familien unterteilt. Von Natur aus interpretierbare Modelle wie Entscheidungsbäume, Regellisten und lineare Modelle sind durch ihre Konstruktion transparent, neigen jedoch bei komplexen Aufgaben zu geringerer Genauigkeit als Deep Learning. Post-hoc-Methoden behandeln dagegen ein trainiertes Modell als fest und versuchen, einzelne Vorhersagen oder das allgemeine Verhalten darum herum zu erklären. Weit verbreitete Post-hoc-Techniken umfassen Salienzkarten, die die Eingaberegionen hervorheben, etwa Pixel in einem Bild, die den Ausgang eines Faltungs-Neuronale-Netze am stärksten beeinflusst haben; LIME (Local Interpretable Model-agnostic Explanations), das das lokale Verhalten eines komplexen Modells mit einem einfacheren Ersatzmodell approximiert; und SHAP (SHapley Additive exPlanations), das einen spieltheoretischen Rahmen aus der kooperativen Spieltheorie nutzt, um eine Vorhersage ihren beitragenden Eingabemerkmalen auf eine Weise zuzuschreiben, die bestimmte Fairness-Eigenschaften erfüllt. Diese Methoden sind modellagnostisch in dem Sinne, dass sie auf viele Arten von Maschinellem Lernen-Systemen angewendet werden können, ohne Zugang zu internen Gewichten zu benötigen.
Grenzen und Beziehung zur Interpretierbarkeit
Post-hoc-Erklärungsmethoden wurden dafür kritisiert, manchmal plausibel wirkende, aber ungetreue Darstellungen der tatsächlichen Argumentation eines Modells zu erzeugen, da sie die beteiligte Berechnung approximieren statt direkt offenzulegen. Diese Einschränkung hat eine parallele, ehrgeizigere Forschungsrichtung vorangetrieben, die als mechanistische Interpretierbarkeit bekannt ist und darauf abzielt, die tatsächlichen Schaltkreise und Merkmale, die ein Netzwerk gelernt hat, zu rekonstruieren, anstatt sein Verhalten von außen zu approximieren; die beiden Felder sind eng verwandt, verfolgen jedoch unterschiedliche Evidenzstandards. XAI-Methoden, die für klassisches Computersehen und tabellarische Modelle entwickelt wurden, haben sich als schwer anpassbar an Große-Sprachmodelle-Systeme erwiesen, deren Ausgaben freiformatiger Text statt einer festen Menge von Klassen sind, was einen Großteil der Forschung an der Erklärbarkeitsgrenze hin zu Interpretierbarkeits-Stil-Schaltkreisanalyse und hin zu dem einfachen Ansatz verschoben hat, Modelle zu bitten, eine Gedankenkette als Ersatz-Erklärung zu erzeugen - wenngleich eine, die nicht immer getreu die zugrunde liegende Berechnung widerspiegelt.