Concept Bottleneck Models (CBMs) sind eine Klasse von Neuronale-Netze-Architekturen, die darauf ausgelegt sind, Vorhersagen in einem zweistufigen Prozess zu treffen, mit einer expliziten, für Menschen interpretierbaren Zwischenschicht von Konzepten. Anstatt rohe Eingaben direkt auf Ausgaben abzubilden, sagt ein CBM zunächst eine Reihe vordefinierter, semantisch bedeutsamer Attribute (die Konzepte) voraus und verwendet dann diese vorhergesagten Konzepte, um die endgültige Entscheidung zu treffen. Dieses Design ermöglicht es Menschen, die interne Argumentation des Modells zu inspizieren, zu verstehen und sogar einzugreifen, und adressiert damit eine zentrale Einschränkung von Standard-Black-Box-Modellen im maschinelles Lernen und tiefes Lernen.
Der Konzept-Bottleneck-Ansatz wurde formal in einem Papier von 2020 von Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Brandon Ying und Percy Liang eingeführt, die mit Stanford University und der University of Toronto verbunden sind. Das Papier mit dem Titel "Concept Bottleneck Models" zeigte, dass man durch die Erzwingung, dass das Modell interpretierbare Konzepte vor der endgültigen Ausgabe vorhersagt, eine wettbewerbsfähige Genauigkeit erreichen kann, während man die Fähigkeit erhält, das Verhalten des Modells zu debuggen und zu steuern. Diese Arbeit baute auf früheren Ideen interpretierbarer und entwirrter Darstellungen auf, bot jedoch eine konkrete, trainierbare Architektur, die seitdem eine breite Forschungslandschaft beeinflusst hat.
Architektur und Training
Ein Concept Bottleneck Model besteht aus drei Hauptkomponenten: einem Eingabe-Encoder, einem Konzept-Prädiktor und einem Aufgaben-Prädiktor. Der Eingabe-Encoder verarbeitet die rohen Daten (z. B. ein Bild, eine Textsequenz oder einen tabellarischen Datensatz) in eine Merkmalsdarstellung. Der Konzept-Prädiktor bildet dann diese Darstellung auf einen Vektor von Konzept-Scores ab, einen für jedes vordefinierte Konzept. Schließlich nimmt der Aufgaben-Prädiktor diese Konzept-Scores (und optional die ursprünglichen Merkmale) als Eingabe, um die endgültige Ausgabe zu erzeugen, wie eine Klassenbezeichnung oder einen Regressionswert.
Das Training eines CBM folgt typischerweise einem von drei Paradigmen: unabhängiges Training, sequenzielles Training und gemeinsames Training. Beim unabhängigen Training wird der Konzept-Prädiktor zuerst trainiert, um Ground-Truth-Konzeptbezeichnungen vorherzusagen, und dann wird der Aufgaben-Prädiktor auf den vorhergesagten Konzepten (oder auf Ground-Truth-Konzepten, wobei der Konzept-Prädiktor eingefroren ist) trainiert. Sequenzielles Training trainiert zuerst den Konzept-Prädiktor, dann den Aufgaben-Prädiktor, während der Konzept-Prädiktor fixiert bleibt, verwendet jedoch die vorhergesagten Konzepte während des Aufgaben-Trainings. Gemeinsames Training optimiert beide Komponenten gleichzeitig, oft mit einem gewichteten Verlust, der den Konzept-Vorhersagefehler und den Aufgaben-Vorhersagefehler kombiniert. Gemeinsames Training liefert in der Regel die beste Aufgaben-Genauigkeit, kann jedoch die Konzept-Genauigkeit opfern. Eine häufige Variante ist das "interventionsbewusste" Training, bei dem das Modell darauf trainiert wird, robust gegenüber menschlichen Korrekturen von Konzeptvorhersagen zu sein, sodass Benutzer Fehler zur Testzeit beheben können.
Interpretierbarkeit und Intervention
Die primäre Motivation für CBMs ist Interpretierbarkeit. Indem das Modell darauf beschränkt wird, durch menschenverständliche Konzepte zu argumentieren, können Benutzer sehen, welche Konzepte das Modell als vorhanden annimmt und wie diese Konzepte die endgültige Vorhersage beeinflussen. Beispielsweise könnte ein CBM bei einer Vogelklassifizierungsaufgabe Konzepte wie "hat gelben Bauch", "hat spitze Flügel" und "hat einen langen Schwanz" vorhersagen und diese dann verwenden, um die Art zu klassifizieren. Diese Transparenz ermöglicht es Fachexperten, zu überprüfen, ob das Modell sinnvolle Merkmale verwendet und nicht irreführende Korrelationen.
Ein charakteristisches Merkmal von CBMs ist die Fähigkeit zur Intervention. Wenn ein Benutzer weiß, dass die Konzeptvorhersage des Modells falsch ist (z. B. es einen gelben Bauch nicht erkannt hat), kann er diesen Konzeptwert manuell korrigieren, und der Aufgaben-Prädiktor erzeugt eine neue Ausgabe basierend auf dem korrigierten Konzept. Diese Human-in-the-Loop-Fähigkeit ist in Hochrisikobereichen wie Medizin oder Finanzen wertvoll, wo ein Fehler des Modells vor einer endgültigen Entscheidung korrigiert werden kann. Die Forschung hat gezeigt, dass selbst eine kleine Anzahl von Interventionen die Genauigkeit erheblich verbessern kann, insbesondere wenn der Konzept-Prädiktor unvollkommen ist.
Anwendungen
CBMs wurden in verschiedenen Bereichen angewendet. In der medizinischen Bildgebung wurden sie für die Röntgen-Thorax-Diagnose eingesetzt, wobei Konzepte sichtbaren Pathologien wie "Kardiomegalie" oder "Erguss" entsprechen. In der Dermatologie können CBMs Hautläsionsattribute vorhersagen, bevor sie Bösartigkeit klassifizieren. Im autonomen Fahren können Konzepte wie "Fußgänger vorhanden" oder "Ampelfarbe" verwendet werden, um Fahrentscheidungen zu treffen, obwohl dies weniger verbreitet ist als bei Wahrnehmungsaufgaben. In der Verarbeitung natürlicher Sprache wurden CBMs auf Stimmungsanalyse und Toxizitätserkennung angewendet, mit Konzepten wie "enthält Obszönitäten" oder "drückt Wut aus". Bei tabellarischen Daten wurden CBMs für die Kreditwürdigkeitsprüfung verwendet, wobei Konzepte wie "Einkommensniveau" und "Zahlungshistorie" interpretierbar sind.
Varianten und Erweiterungen
Mehrere Varianten von CBMs wurden vorgeschlagen, um Einschränkungen zu adressieren. Label-freie CBMs (eingeführt 2022 von Tu, Ma und anderen) entfernen die Notwendigkeit manueller Konzeptannotationen, indem sie ein großes vortrainiertes Modell (z. B. ein großes Sprachmodell oder ein Vision-Language-Modell) verwenden, um Konzeptbezeichnungen automatisch aus Klassenbeschreibungen zu generieren. Dies reduziert den Annotationsaufwand, der ein wesentlicher Engpass für die Anwendung von CBMs auf neue Aufgaben ist. Eine weitere Variante, das Concept Embedding Model, projiziert Konzepte in einen kontinuierlichen Einbettungsraum anstatt binäre oder kategoriale Bezeichnungen zu verwenden, was reichhaltigere Konzeptdarstellungen ermöglicht. Post-hoc-CBMs versuchen, einen Konzept-Bottleneck aus einem bereits trainierten Black-Box-Modell zu extrahieren, indem sie Probing- oder Clustering-Techniken verwenden, um interpretierbare Dimensionen zu identifizieren.
Weitere Erweiterungen umfassen probabilistische CBMs, die Konzeptunsicherheit modellieren, und interaktive CBMs, die es Benutzern ermöglichen, das Modell zu fragen, welche Konzepte am einflussreichsten sind. Einige Arbeiten haben CBMs mit Transformer-Architekturen integriert und Aufmerksamkeitsmechanismen verwendet, um Konzepte mit Eingaberegionen abzugleichen.
Einschränkungen und Herausforderungen
Trotz ihrer Vorteile stehen CBMs vor mehreren Herausforderungen. Die bedeutendste ist die Anforderung an Konzeptannotationen, die teuer und oft subjektiv sind. Die Definition eines vollständigen und nicht überlappenden Satzes von Konzepten für eine Aufgabe ist schwierig, und fehlende Konzepte können zu Informationsverlust und reduzierter Genauigkeit führen. CBMs neigen auch dazu, bei komplexen Aufgaben im Vergleich zu Standard-Black-Box-Modellen schlechter abzuschneiden, da der Konzept-Bottleneck den Informationsfluss einschränkt. Der Kompromiss zwischen Interpretierbarkeit und Genauigkeit ist eine zentrale Forschungsfrage.
Ein weiteres Problem ist Konzeptleckage: Der Aufgaben-Prädiktor könnte lernen, Konzeptvorhersagen auf unbeabsichtigte Weise zu verwenden, oder der Konzept-Prädiktor könnte Informationen über die angegebenen Konzepte hinaus kodieren (z. B. durch korrelierte Merkmale). Dies kann das Modell weniger interpretierbar machen als beabsichtigt. Darüber hinaus sind menschliche Interventionen nur wirksam, wenn der Aufgaben-Prädiktor robust gegenüber Konzeptkorrekturen ist; andernfalls könnte das Korrigieren eines Konzepts die Ausgabe nicht wie erwartet ändern.
Beziehung zu anderen Interpretierbarkeitsmethoden
CBMs sind Teil einer breiteren Familie interpretierbarer Techniken des maschinellen Lernens. Sie werden oft mit Post-hoc-Erklärungsmethoden wie Saliency-Maps oder gradientenbasierten Attributionen kontrastiert, die versuchen, ein Black-Box-Modell nach dem Training zu erklären. CBMs sind von Natur aus durch Design interpretierbar, was für Hochrisikoentscheidungen im Allgemeinen bevorzugt wird. Sie sind auch mit konzeptbasierten Erklärungen verwandt, wie dem Testen mit Concept Activation Vectors (TCAV), das Richtungsableitungen verwendet, um den Konzepteinfluss zu messen, aber TCAV schränkt die Architektur des Modells nicht ein. CBMs werden manchmal mit Entscheidungsbäumen und regelbasierten Modellen verglichen, die ebenfalls inhärent interpretierbar, aber weniger flexibel sind.
Aktuelle Forschung und zukünftige Richtungen
Die Forschung zu CBMs entwickelt sich weiter. Jüngste Arbeiten haben sich auf die Skalierung von CBMs auf große Datensätze und die Integration mit Foundation-Modellen konzentriert. Beispielsweise hat die Verwendung von CLIP-artigen Einbettungen zur Definition von Konzepten in einem kontinuierlichen Raum vielversprechende Ergebnisse gezeigt. Eine weitere Richtung ist die Verwendung von CBMs im Verstärkungslernen und in der Robotik, wo interpretierbare Zwischendarstellungen zur Sicherheit und zum Debugging beitragen können. Es gibt auch Interesse an der Verwendung von CBMs für Fairness und Bias-Minderung, da Konzept-Bottlenecks es Prüfern ermöglichen, zu überprüfen, ob geschützte Attribute verwendet werden.
Stand 2025 bleiben CBMs ein aktives Forschungsgebiet, mit Papieren auf großen Konferenzen wie NeurIPS, ICML und ICLR. Der Kompromiss zwischen Interpretierbarkeit und Leistung ist noch nicht vollständig gelöst, aber das Feld bewegt sich hin zu flexibleren und skalierbaren konzeptbasierten Modellen, einschließlich solcher, die Konzepte dynamisch lernen, anstatt sich auf feste, menschlich definierte Sätze zu verlassen.