Concept Bottleneck Models (CBMs) sind eine Klasse von neuralen Netzwerk-Architekturen, die darauf abzielen, die Interpretierbarkeit zu verbessern, indem sie eine Engpass-Schicht aus für Menschen verständlichen Konzepten zwischen der Eingabe und der endgültigen Vorhersage einfügen. Anstatt Rohdaten direkt auf eine Ausgabe abzubilden, sagt ein CBM zunächst eine Reihe vordefinierter Konzepte voraus (z. B. „hat Flügel“, „ist rot“) und verwendet dann diese Konzeptvorhersagen, um die endgültige Entscheidung zu treffen. Dieses Design ermöglicht es Benutzern, zu überprüfen, welche Konzepte eine Vorhersage beeinflusst haben, und durch Korrektur der Konzeptwerte einzugreifen, wodurch das Modell transparenter und besser debugbar ist als standardmäßige Black-Box-Modelle.
Das Framework wurde in einem Papier von 2020 von Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Brandon Ying und Percy Liang formalisiert, das auf der 34. Konferenz für Neuronale Informationsverarbeitungssysteme (NeurIPS 2020) vorgestellt wurde. Die Autoren zeigten, dass CBMs bei Bildklassifizierungsaufgaben eine wettbewerbsfähige Genauigkeit erreichen konnten, während sie Interpretierbarkeitsvorteile boten. Sie führten auch Varianten ein, wie das „intervenierbare“ CBM, bei dem ein Benutzer vorhergesagte Konzepte überschreiben kann, um zu sehen, wie sich die endgültige Vorhersage ändert, und das „gemeinsame“ CBM, das Konzept- und Endvorhersager gleichzeitig trainiert.
Architektur und Design
Ein standardmäßiges CBM besteht aus drei Komponenten: einem Merkmalsextraktor (oft ein vortrainiertes ResNet oder ein ähnliches Deep-Learning-Rückgrat), einem Konzeptvorhersager, der Merkmale auf Konzeptwahrscheinlichkeiten abbildet, und einem Endvorhersager, der Konzeptwahrscheinlichkeiten auf das Ausgabelabel abbildet. Die Konzeptschicht ist typischerweise ein lineares oder kleines mehrschichtiges Perzeptron, und der Endvorhersager ist oft ein lineares Modell, um die Interpretierbarkeit zu erhalten.
Koh et al. untersuchten drei Trainingsparadigmen: unabhängig (Konzeptvorhersager zuerst trainieren, einfrieren, dann Endvorhersager trainieren), sequenziell (Konzeptvorhersager trainieren, dann Endvorhersager mit Konzeptlabels) und gemeinsam (beide gleichzeitig mit einem gewichteten Verlust trainieren). Ihre Experimente auf dem CUB-200-2011-Vogeldatensatz (mit 312 Konzepten) und dem SUN-Attributdatensatz (mit 102 Attributen) zeigten, dass unabhängige CBMs eine geringere Genauigkeit als Standardmodelle hatten, aber gemeinsames Training schloss einen Großteil der Lücke. Zum Beispiel erreichte auf CUB ein standardmäßiges ResNet-18 etwa 75 % Genauigkeit, während ein gemeinsames CBM etwa 72 % und ein unabhängiges CBM etwa 66 % erreichte.
Interpretierbarkeit und Intervention
Ein Hauptmerkmal von CBMs ist die Fähigkeit zu intervenieren: Wenn das Modell ein Konzept falsch vorhersagt (z. B. „hat Flügelfarbe: braun“, wenn der Vogel tatsächlich blau ist), kann ein Benutzer dieses Konzept korrigieren und den Endvorhersager erneut ausführen. Koh et al. zeigten, dass selbst eine einzelne Intervention bei einem falsch vorhergesagten Konzept die Genauigkeit erheblich verbessern konnte. Auf CUB erhöhte die Intervention bei nur einem Konzept pro Bild die Genauigkeit von 66 % auf über 90 % im unabhängigen Modell, und ähnliche Gewinne wurden im gemeinsamen Modell beobachtet. Dies macht CBMs in Hochrisikobereichen nützlich, in denen menschliche Aufsicht wertvoll ist.
Der Interventionsmechanismus ermöglicht auch das Debugging: Durch die Überprüfung, welche Konzepte häufig falsch vorhergesagt werden, können Entwickler Schwächen im Merkmalsextraktor oder in den Konzeptdefinitionen identifizieren. Die Qualität der Interventionen hängt jedoch davon ab, dass der Konzeptsatz umfassend und genau annotiert ist, was eine große praktische Einschränkung darstellt.
Erweiterungen und Varianten
Seit 2020 wurden mehrere Erweiterungen vorgeschlagen. „Concept Bottleneck Models with Label-Specific Concepts“ (2021) von Rieger et al. erlaubte es, Konzepte über Klassen hinweg zu teilen, wodurch der Annotationsaufwand reduziert wurde. „Post-hoc Concept Bottleneck Models“ (2021) von Yukara Ikami et al. und spätere Arbeiten von Wong et al. (2021) führten Methoden ein, um ein vortrainiertes Black-Box-Modell ohne erneutes Training von Grund auf in ein CBM umzuwandeln, unter Verwendung eines Konzeptentdeckungsschritts. Eine weitere Forschungslinie, „Concept Embedding Models“ (2021) von Zarlenga et al., lockerte die binäre Konzeptannahme durch die Verwendung kontinuierlicher Konzept-Einbettungen, was die Ausdruckskraft verbesserte.
Im Jahr 2023 fügten „Interactive Concept Bottleneck Models“ von Collins et al. einen Mechanismus hinzu, mit dem Benutzer das Modell während der Inferenz nach Konzepterklärungen fragen können, und „Concept Bottleneck Models with Concept Erasure“ (2023) von Kim et al. befasste sich mit dem Problem des Konzeptlecks, bei dem der Endvorhersager möglicherweise Informationen verwendet, die nicht von den Konzepten erfasst werden. Diese Erweiterungen wurden auf Datensätzen wie CUB, SUN und dem synthetischen dSprites-Datensatz bewertet, mit unterschiedlichen Abwägungen zwischen Genauigkeit und Interpretierbarkeit.
Anwendungen
CBMs wurden in der medizinischen Bildgebung angewendet, wo Interpretierbarkeit entscheidend ist. Zum Beispiel verwendete eine Studie von 2022 von Graziani et al. CBMs für die Klassifizierung von Hautläsionen, wobei Konzepte wie „Asymmetrie“ und „Randunregelmäßigkeit“ aus der ABCD-Regel definiert wurden, und erreichte eine AUC von 0,91 auf dem ISIC-2018-Datensatz, vergleichbar mit einer Black-Box-Baseline (0,93), aber mit der zusätzlichen Fähigkeit, Vorhersagen zu erklären. In der Radiologie wurden CBMs für die Diagnose von Röntgenaufnahmen des Brustkorbs verwendet, mit Konzepten wie „Kardiomegalie“ und „Erguss“, wie in einem Papier von 2021 von Chen et al. auf dem CheXpert-Datensatz gezeigt, wo Intervention die Genauigkeit von 0,82 auf 0,87 verbesserte.
Im autonomen Fahren wurden CBMs für die Vorhersage des Fahrerverhaltens oder das Verständnis von Verkehrsszenen untersucht. Ein Papier von 2023 von Zhang et al. verwendete CBMs für die Fußgängererkennung mit Konzepten wie „überquert“ und „schaut“, erreichte 95 % Genauigkeit auf einem benutzerdefinierten Datensatz und erlaubte gleichzeitig die menschliche Korrektur falsch klassifizierter Konzepte. Im Finanzwesen wurden CBMs für die Kreditbewertung vorgeschlagen, wobei Konzepte wie „Einkommensstabilität“ und „Schuldenquote“ verwendet werden, obwohl die Einführung aufgrund regulatorischer und datenbezogener Herausforderungen begrenzt bleibt.
Einschränkungen und Herausforderungen
Die Hauptbeschränkung ist der Bedarf an Konzeptannotationen, die teuer zu erhalten sind. Für groß angelegte Datensätze ist es schwierig, einen vollständigen und nicht überlappenden Konzeptsatz zu definieren. CBMs neigen auch dazu, bei komplexen Aufgaben schlechter abzuschneiden als Black-Box-Modelle, da der Konzeptengpass den Informationsfluss einschränkt. Zum Beispiel erreichte auf ImageNet ein CBM mit 1000 Konzepten (eines pro Klasse) nur 55 % Top-1-Genauigkeit, verglichen mit 76 % für ein standardmäßiges ResNet-50, wie in einer Folgestudie von 2021 von Koh et al. berichtet.
Ein weiteres Problem ist das Konzeptleck: Der Endvorhersager kann unbeabsichtigt Korrelationen in Konzeptwahrscheinlichkeiten verwenden, die nicht semantisch bedeutsam sind, was die Interpretierbarkeit verringert. Forscher haben Regularisierungstechniken vorgeschlagen, wie Orthogonalitätsbeschränkungen für Konzept-Einbettungen, um dies zu mildern. Darüber hinaus nehmen CBMs an, dass Konzepte unabhängig sind, aber reale Konzepte sind oft korreliert (z. B. „hat Federn“ und „kann fliegen“), was zu redundanten oder widersprüchlichen Vorhersagen führen kann.
Beziehung zu anderen Interpretierbarkeitsmethoden
CBMs sind Teil einer breiteren Familie interpretierbarer Modelle, einschließlich Entscheidungsbäumen, regelbasierter Systeme und aufmerksamkeitsbasierter Erklärungen. Im Gegensatz zu Post-hoc-Methoden wie Salienzkarten oder LIME, die ein Black-Box-Modell nach dem Training erklären, sind CBMs von Natur aus durch Design interpretierbar. Sie sind verwandt mit Aufmerksamkeitsmechanismen in Transformatoren, die ebenfalls eine gewisse Interpretierbarkeit bieten, aber Aufmerksamkeitsgewichte sind oft verrauscht und nicht direkt umsetzbar. CBMs sind auch mit Modell-Pruning verbunden, da beide darauf abzielen, Modelle zu vereinfachen, aber Pruning reduziert die Größe, während CBMs die Opazität reduzieren.
Neuere Arbeiten haben CBMs mit großen Sprachmodellen (LLMs) kombiniert. Zum Beispiel verwendete ein Papier von 2023 von Oikarinen et al. GPT-3, um automatisch Konzeptkandidaten für einen Datensatz zu generieren, wodurch der Bedarf an menschlicher Annotation reduziert wurde. Eine weitere Studie von 2024 von Yang et al. verwendete ein LLM, um Konzeptdefinitionen iterativ zu verfeinern, was die CBM-Genauigkeit auf CUB um 3 % gegenüber einem festen Konzeptsatz verbesserte. Diese hybriden Ansätze sind ein aktives Forschungsgebiet, insbesondere da generative KI-Modelle leistungsfähiger werden.
Zukünftige Richtungen
Zukünftige Forschung konzentriert sich darauf, CBMs auf größere Datensätze und komplexere Aufgaben zu skalieren, wie Video-Verständnis und multimodale Eingaben. Es gibt auch Arbeiten zum automatischen Lernen von Konzepten aus Daten unter Verwendung unüberwachter oder selbstüberwachter Methoden, obwohl diese Konzepte möglicherweise nicht mit menschlicher Semantik übereinstimmen. Eine weitere Richtung ist die Integration von CBMs mit Verstärkungslernen für sequenzielle Entscheidungsfindung, wo Interpretierbarkeit in der Robotik und beim Spielen helfen könnte.
Stand 2025 bleiben CBMs ein Nischen-, aber einflussreicher Ansatz, der in über 2.000 Papieren zitiert wird. Sie werden besonders in Bereichen geschätzt, in denen regulatorische Anforderungen Erklärbarkeit vorschreiben, wie im Gesundheitswesen und Finanzwesen. Ihre Einführung ist jedoch durch die Annotationskosten und die Genauigkeitslücke begrenzt, und es bleibt abzuwarten, ob sie skalierbar und wettbewerbsfähig genug gemacht werden können, um eine breite Bereitstellung zu ermöglichen.