Mechanistische Interpretierbarkeit ist ein Forschungsprogramm innerhalb der KI-Sicherheit und des maschinellen Lernens, das versucht, die trainierten Gewichte eines neuronalen Netzes in eine für Menschen verständliche Darstellung der von ihm implementierten Algorithmen zurückzuentwickeln, anstatt lediglich sein Verhalten von außen zu approximieren, wie es die meisten Methoden der erklärbaren KI tun. Der Ansatz behandelt ein trainiertes Modell ähnlich, wie ein Reverse Engineer kompilierten Binärcode ohne Quelltext behandeln würde: Durch das Untersuchen einzelner Neuronen, Schichten und Kombinationen von Gewichten versuchen Forscher, die diskreten Merkmale und Schaltkreise zu rekonstruieren, die ein Netzwerk zur Ausführung einer Aufgabe nutzt, mit dem letztendlichen Ziel, das Verhalten eines Modells mit derselben Sicherheit vorhersagen, verifizieren oder bearbeiten zu können, als würde man seinen Quellcode lesen.
Ursprünge
Frühe Interpretierbarkeitsarbeit im Bereich des maschinellen Sehens, einschließlich der Forschung zur Merkmalsvisualisierung, die mit dem Online-Journal Distill verbunden ist, zeigte, dass einzelne Neuronen oder kleine Gruppen von Neuronen in Bildklassifikatoren wie Convolutional Neural Networks erkennbaren Konzepten wie Kurven, Texturen oder Objektteilen entsprechen konnten. Chris Olah, ein Mitbegründer von Anthropic und eine führende Figur auf diesem Gebiet, half, diesen visuellen, schaltkreisbasierten Analyseansatz zu popularisieren, bevor er ihn auf Sprachmodelle ausweitete. Der Aufstieg der Transformer-Architektur und von Large Language Models verlagerte den Fokus des Feldes auf das Verständnis von Aufmerksamkeitsköpfen, Residuenströmen und den internen Repräsentationen, die es einem Modell ermöglichen, Aufgaben wie In-Context-Learning auszuführen.
Zentrale Erkenntnisse
Interpretierbarkeitsforscher haben mehrere wiederkehrende Phänomene identifiziert. Superposition beschreibt die Erkenntnis, dass neuronale Netze oft mehr unterschiedliche Merkmale repräsentieren, als sie Neuronen besitzen, und mehrere Konzepte in überlappende Richtungen im Aktivierungsraum packen, was einzelne Neuronen isoliert schwer interpretierbar macht. Sparse Autoencoder, eine Anwendung der breiteren Autoencoder-Technik, wurden verwendet, um diese überlappenden Repräsentationen in eine viel größere Menge monosemantischer, einzeln interpretierbarer Merkmale zu zerlegen; Anthropics Arbeit von 2024, die Millionen solcher Merkmale in einem produktionsreifen Claude-Modell identifizierte, sowie nachfolgende Arbeiten zum Lokalisieren und Bearbeiten spezifischer verhaltensrelevanter Merkmale, gehörten zu den am breitesten diskutierten Ergebnissen des Feldes. Andere Forschungslinien haben spezifische Schaltkreise identifiziert, die für eng begrenzte Fähigkeiten verantwortlich sind, wie etwa einen „Induktionskopf“-Mechanismus, der es Transformer-Modellen ermöglicht, wiederholte Muster zu vervollständigen, und haben Interpretierbarkeitswerkzeuge genutzt, um Anzeichen von Täuschung oder Ziel-Fehlgeneralisierung innerhalb eines Modells zu erkennen, anstatt sich allein auf dessen ausgegebenes Verhalten zu verlassen.
Motivation und Bedeutung
Befürworter argumentieren, dass mechanistische Interpretierbarkeit eine der wenigen Forschungsrichtungen ist, die Menschen echte Einblicke darüber geben könnte, ob ein hochleistungsfähiges Modell die Ziele verfolgt, die es zu verfolgen scheint, anstatt sich allein auf Verhaltenstests zu verlassen - eine Sorge, die eng mit Debatten über Alignment und Reward-Hacking verbunden ist. Da Interpretierbarkeit darauf abzielt, die Black Box direkt zu öffnen, anstatt sie im Nachhinein zu erklären, betrachten einige Forscher sie als Voraussetzung für die sichere Bereitstellung wesentlich leistungsfähigerer zukünftiger Systeme, einschließlich solcher, die sich einer Künstlichen Allgemeinen Intelligenz nähern.
Grenzen
Das Feld ist noch weit von einer vollständigen Beschreibung eines Grenzmodells entfernt; aktuelle Techniken skalieren schlecht auf die Größe von Produktionsmodellen, Sparse-Autoencoder-Merkmale decken nicht sauber das gesamte Verhalten eines Netzwerks ab, und es gibt keine vereinbarte Methode, um zu verifizieren, dass eine auf Interpretierbarkeit basierende Erklärung vollständig und nicht nur plausibel ist. Forscher beschreiben mechanistische Interpretierbarkeit allgemein als eine Wissenschaft im Frühstadium, vergleichbar im Anspruch, wenn auch noch nicht in der Reife, mit dem Versuch der Neurowissenschaften, biologische Gehirne zu kartieren.