Les modèles à goulot d'étranglement conceptuel (CBM) sont une classe d'architectures de réseaux de neurones conçues pour améliorer l'interprétabilité en insérant une couche de goulot d'étranglement de concepts compréhensibles par l'humain entre l'entrée et la prédiction finale. Au lieu de mapper directement les données brutes vers une sortie, un CBM prédit d'abord un ensemble de concepts prédéfinis (par exemple, « a des ailes », « est rouge »), puis utilise ces prédictions de concepts pour prendre la décision finale. Cette conception permet aux utilisateurs d'inspecter quels concepts ont influencé une prédiction et d'intervenir en corrigeant les valeurs des concepts, rendant le modèle plus transparent et débogable que les modèles boîte noire standard.
Le cadre a été formalisé dans un article de 2020 par Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Brandon Ying et Percy Liang, présenté à la 34e Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS 2020). Les auteurs ont démontré que les CBM pouvaient atteindre une précision compétitive sur des tâches de classification d'images tout en offrant des avantages en matière d'interprétabilité. Ils ont également introduit des variantes telles que le CBM « interventionnable », où un utilisateur peut remplacer les concepts prédits pour voir comment la prédiction finale change, et le CBM « conjoint », qui entraîne simultanément les prédicteurs de concepts et de prédiction finale.
Architecture et conception
Un CBM standard se compose de trois composants : un extracteur de caractéristiques (souvent un ResNet pré-entraîné ou un backbone de apprentissage profond similaire), un prédicteur de concepts qui mappe les caractéristiques aux probabilités de concepts, et un prédicteur final qui mappe les probabilités de concepts à l'étiquette de sortie. La couche de concepts est généralement un perceptron multicouche linéaire ou de petite taille, et le prédicteur final est souvent un modèle linéaire pour maintenir l'interprétabilité.
Koh et al. ont exploré trois paradigmes d'entraînement : indépendant (entraîner d'abord le prédicteur de concepts, le geler, puis entraîner le prédicteur final), séquentiel (entraîner le prédicteur de concepts, puis le prédicteur final avec les étiquettes de concepts), et conjoint (entraîner les deux simultanément avec une perte pondérée). Leurs expériences sur le jeu de données d'oiseaux CUB-200-2011 (avec 312 concepts) et le jeu de données d'attributs SUN (avec 102 attributs) ont montré que les CBM indépendants avaient une précision inférieure à celle des modèles standard, mais que l'entraînement conjoint comblait une grande partie de l'écart. Par exemple, sur CUB, un ResNet-18 standard atteignait environ 75 % de précision, tandis qu'un CBM conjoint atteignait environ 72 % et un CBM indépendant environ 66 %.
Interprétabilité et intervention
Une caractéristique clé des CBM est la capacité d'intervenir : si le modèle prédit un concept incorrectement (par exemple, « a une couleur d'aile : marron » alors que l'oiseau est en réalité bleu), un utilisateur peut corriger ce concept et relancer le prédicteur final. Koh et al. ont montré qu'une seule intervention sur un concept mal prédit pouvait améliorer considérablement la précision. Sur CUB, intervenir sur un seul concept par image a fait passer la précision de 66 % à plus de 90 % dans le modèle indépendant, et des gains similaires ont été observés dans le modèle conjoint. Cela rend les CBM utiles dans des domaines à enjeux élevés où la supervision humaine est précieuse.
Le mécanisme d'intervention permet également le débogage : en inspectant quels concepts sont fréquemment mal prédits, les développeurs peuvent identifier les faiblesses de l'extracteur de caractéristiques ou des définitions de concepts. Cependant, la qualité des interventions dépend de la complétude et de l'exactitude de l'annotation de l'ensemble de concepts, ce qui constitue une limitation pratique majeure.
Extensions et variantes
Plusieurs extensions ont été proposées depuis 2020. Les « modèles à goulot d'étranglement conceptuel avec concepts spécifiques aux étiquettes » (2021) de Rieger et al. ont permis de partager des concepts entre les classes, réduisant ainsi la charge d'annotation. Les « modèles à goulot d'étranglement conceptuel post-hoc » (2021) de Yukara Ikami et al. et les travaux ultérieurs de Wong et al. (2021) ont introduit des méthodes pour convertir un modèle boîte noire pré-entraîné en CBM sans réentraînement complet, en utilisant une étape de découverte de concepts. Une autre ligne de travail, les « modèles d'intégration de concepts » (2021) de Zarlenga et al., a assoupli l'hypothèse de concepts binaires en utilisant des intégrations de concepts continues, améliorant ainsi l'expressivité.
En 2023, les « modèles à goulot d'étranglement conceptuel interactifs » de Collins et al. ont ajouté un mécanisme permettant aux utilisateurs d'interroger le modèle pour obtenir des explications conceptuelles pendant l'inférence, et les « modèles à goulot d'étranglement conceptuel avec effacement de concepts » (2023) de Kim et al. ont abordé le problème de la fuite de concepts, où le prédicteur final pourrait s'appuyer sur des informations non capturées par les concepts. Ces extensions ont été évaluées sur des jeux de données comme CUB, SUN et le jeu de données synthétique dSprites, avec des compromis variables entre précision et interprétabilité.
Applications
Les CBM ont été appliqués en imagerie médicale, où l'interprétabilité est critique. Par exemple, une étude de 2022 de Graziani et al. a utilisé des CBM pour la classification des lésions cutanées, définissant des concepts tels que « asymétrie » et « irrégularité des bords » à partir de la règle ABCD, atteignant une AUC de 0,91 sur le jeu de données ISIC 2018, comparable à une ligne de base boîte noire (0,93) mais avec la capacité supplémentaire d'expliquer les prédictions. En radiologie, les CBM ont été utilisés pour le diagnostic de radiographies thoraciques, avec des concepts comme « cardiomégalie » et « épanchement », comme démontré dans un article de 2021 de Chen et al. sur le jeu de données CheXpert, où l'intervention a amélioré la précision de 0,82 à 0,87.
Dans la conduite autonome, les CBM ont été explorés pour prédire le comportement du conducteur ou la compréhension des scènes de trafic. Un article de 2023 de Zhang et al. a utilisé des CBM pour la détection de piétons avec des concepts comme « traversant » et « regardant », atteignant 95 % de précision sur un jeu de données personnalisé, tout en permettant la correction humaine des concepts mal classifiés. En finance, les CBM ont été proposés pour le scoring de crédit, où des concepts comme « stabilité des revenus » et « ratio d'endettement » sont utilisés, bien que l'adoption reste limitée en raison de défis réglementaires et de données.
Limites et défis
La principale limitation est le besoin d'annotations de concepts, qui sont coûteuses à obtenir. Pour les jeux de données à grande échelle, définir un ensemble de concepts complet et non chevauchant est difficile. Les CBM ont également tendance à sous-performer les modèles boîte noire sur des tâches complexes, car le goulot d'étranglement conceptuel restreint le flux d'informations. Par exemple, sur ImageNet, un CBM avec 1000 concepts (un par classe) n'atteignait que 55 % de précision top-1, contre 76 % pour un ResNet-50 standard, comme rapporté dans une étude de suivi de 2021 par Koh et al.
Un autre problème est la fuite de concepts : le prédicteur final peut utiliser involontairement des corrélations dans les probabilités de concepts qui ne sont pas sémantiquement significatives, réduisant ainsi l'interprétabilité. Les chercheurs ont proposé des techniques de régularisation, telles que des contraintes d'orthogonalité sur les intégrations de concepts, pour atténuer ce problème. De plus, les CBM supposent que les concepts sont indépendants, mais les concepts du monde réel sont souvent corrélés (par exemple, « a des plumes » et « peut voler »), ce qui peut conduire à des prédictions redondantes ou conflictuelles.
Relation avec d'autres méthodes d'interprétabilité
Les CBM font partie d'une famille plus large de modèles interprétables, y compris les arbres de décision, les systèmes à base de règles et les explications basées sur l'attention. Contrairement aux méthodes post-hoc comme les cartes de saillance ou LIME, qui expliquent un modèle boîte noire après l'entraînement, les CBM sont intrinsèquement interprétables par conception. Ils sont liés aux mécanismes d'attention dans les transformeurs, qui offrent également une certaine interprétabilité, mais les poids d'attention sont souvent bruités et pas directement exploitables. Les CBM sont également connectés à l'élagage de modèles en ce sens que les deux visent à simplifier les modèles, mais l'élagage réduit la taille tandis que les CBM réduisent l'opacité.
Des travaux récents ont combiné les CBM avec les grands modèles de langage (LLM). Par exemple, un article de 2023 d'Oikarinen et al. a utilisé GPT-3 pour générer automatiquement des candidats de concepts pour un jeu de données, réduisant ainsi le besoin d'annotation humaine. Une autre étude de 2024 de Yang et al. a utilisé un LLM pour affiner itérativement les définitions de concepts, améliorant la précision des CBM sur CUB de 3 % par rapport à un ensemble de concepts fixe. Ces approches hybrides sont un domaine de recherche actif, surtout à mesure que les modèles de IA générative deviennent plus capables.
Directions futures
La recherche future se concentre sur la mise à l'échelle des CBM à des jeux de données plus volumineux et des tâches plus complexes, telles que la compréhension vidéo et les entrées multimodales. Il existe également des travaux sur l'apprentissage automatique de concepts à partir des données, en utilisant des méthodes non supervisées ou auto-supervisées, bien que ces concepts puissent ne pas correspondre à la sémantique humaine. Une autre direction consiste à intégrer les CBM avec l'apprentissage par renforcement pour la prise de décision séquentielle, où l'interprétabilité pourrait aider en robotique et dans les jeux.
En 2025, les CBM restent une approche de niche mais influente, citée dans plus de 2 000 articles. Ils sont particulièrement appréciés dans les domaines où les exigences réglementaires imposent l'explicabilité, comme la santé et la finance. Cependant, leur adoption est limitée par le coût d'annotation et l'écart de précision, et il reste à voir s'ils peuvent être rendus suffisamment évolutifs et compétitifs pour une adoption généralisée.