Un modèle à goulot d'étranglement conceptuel (CBM) est un type d'architecture de réseau neuronal conçu pour rendre les prédictions plus interprétables en forçant le modèle à produire d'abord un ensemble de concepts compréhensibles par l'humain, puis à utiliser ces concepts pour prendre la décision finale. Cette conception en deux étapes contraste avec les modèles d'apprentissage profond de bout en bout, dont les représentations internes sont généralement opaques. En contraignant la couche intermédiaire à correspondre à des attributs significatifs, les CBM permettent aux utilisateurs de voir quels concepts ont influencé une prédiction, et même d'intervenir en corrigeant les valeurs des concepts pour modifier le résultat.
Introduit en 2020 par des chercheurs du laboratoire d'informatique et d'intelligence artificielle du MIT et du laboratoire d'intelligence artificielle de Stanford, le modèle à goulot d'étranglement conceptuel a été proposé en réponse au besoin croissant de transparence dans les applications à enjeux élevés telles que le diagnostic médical et la conduite autonome. L'idée centrale s'appuie sur des travaux antérieurs en apprentissage automatique interprétable, notamment l'utilisation d'attributs sémantiques en vision par ordinateur, mais la formalise dans un cadre moderne d'apprentissage profond. Depuis son introduction, les CBM ont été étendus et affinés, avec des variantes abordant les compromis de précision et assouplissant l'exigence d'étiquettes de concepts.
Architecture et mécanisme
Un modèle à goulot d'étranglement conceptuel standard se compose de deux composants principaux : un encodeur de concepts et un prédicteur de tâche. L'encodeur de concepts prend une entrée (par exemple, une image ou un texte) et produit un vecteur de scores de concepts, où chaque score correspond à la présence ou à l'intensité prédite d'un concept prédéfini. Ces concepts sont choisis par un expert humain et sont censés être sémantiquement significatifs, comme « a des plumes » ou « a des roues » pour un classifieur d'images.
Le prédicteur de tâche prend ensuite ces scores de concepts comme entrée et produit la sortie finale, telle qu'une étiquette de classe ou une valeur de régression. L'ensemble du modèle est entraîné conjointement, avec des fonctions de perte appliquées à la fois aux prédictions de concepts et à la prédiction de la tâche finale. Pendant l'inférence, le modèle peut être utilisé de trois manières : indépendante (en utilisant les concepts prédits), séquentielle (en utilisant les concepts prédits mais avec le prédicteur de tâche entraîné sur des concepts réels), et interactive (permettant à un utilisateur de corriger les valeurs des concepts avant la prédiction finale).
La couche de concepts agit comme un goulot d'étranglement car elle restreint le flux d'informations entre l'entrée et la sortie finale. Cette restriction est intentionnelle : elle force le modèle à raisonner en termes d'attributs interprétables par l'humain plutôt qu'en s'appuyant sur des caractéristiques non interprétables. Le choix des concepts est crucial, car ils doivent être à la fois prédictifs de la tâche et compréhensibles pour l'utilisateur visé.
Entraînement et fonctions de perte
L'entraînement d'un modèle à goulot d'étranglement conceptuel implique généralement une perte multi-tâches. La perte totale est une somme pondérée de la perte de prédiction des concepts (souvent l'entropie croisée binaire pour les concepts binaires ou l'erreur quadratique moyenne pour les concepts continus) et de la perte de prédiction de la tâche (telle que l'entropie croisée pour la classification). Les poids peuvent être ajustés pour équilibrer l'accent mis sur la précision des concepts par rapport à celle de la tâche.
Dans la formulation originale, l'encodeur de concepts et le prédicteur de tâche sont entraînés conjointement à partir de zéro. Cependant, des travaux ultérieurs ont exploré un entraînement en deux étapes, où l'encodeur de concepts est d'abord entraîné à prédire les concepts, puis le prédicteur de tâche est entraîné sur l'encodeur de concepts figé. Cette approche peut être plus stable et permet l'utilisation d'encodeurs de concepts pré-entraînés. Une autre variante, connue sous le nom d'entraînement « conscient des interventions », intègre des interventions utilisateur simulées pendant l'entraînement pour rendre le modèle plus robuste aux corrections de concepts lors des tests.
Un défi clé est que les étiquettes de concepts sont souvent coûteuses à obtenir. Pour y remédier, certaines méthodes utilisent des approches faiblement supervisées ou non supervisées pour découvrir les concepts, bien que cela puisse sacrifier la garantie d'interprétabilité humaine. D'autres approches, comme le modèle à goulot d'étranglement conceptuel « post-hoc », entraînent d'abord un modèle de boîte noire standard, puis ajustent une couche de concepts pour expliquer ses décisions, mais cela ne garantit pas que les concepts sont causalement utilisés.
Compromis de précision
L'une des principales critiques des modèles à goulot d'étranglement conceptuel est qu'ils peuvent être moins performants que les modèles de bout en bout standard, surtout lorsque l'ensemble de concepts est incomplet ou que les concepts ne sont pas parfaitement prédictifs de la tâche. Le goulot d'étranglement restreint les informations disponibles pour le prédicteur final, et si les concepts ne capturent pas toutes les caractéristiques pertinentes, la précision en souffre. Des études empiriques sur des ensembles de données de référence comme CUB-200-2011 (oiseaux) et AwA2 (animaux) montrent que les CBM atteignent souvent une précision inférieure à celle des modèles non contraints.
Cependant, le compromis n'est pas toujours sévère. Dans certaines tâches, en particulier celles où les concepts sont bien alignés avec la frontière de décision, les CBM peuvent atteindre une précision quasi équivalente à celle des modèles de boîte noire. Des chercheurs ont également proposé des méthodes pour atténuer l'écart de précision, comme permettre au prédicteur de tâche de recevoir également une connexion résiduelle depuis l'entrée (contournant ainsi le goulot d'étranglement) ou en utilisant un vocabulaire de concepts plus large. Le choix des concepts et la qualité de leur supervision sont les facteurs les plus importants influençant le compromis précision-interprétabilité.
Variantes et extensions
Plusieurs variantes notables ont été développées depuis le CBM original. Le « modèle à goulot d'étranglement conceptuel avec entrée supplémentaire » (CBM-AI) ajoute une connexion résiduelle de l'entrée au prédicteur de tâche, permettant au modèle d'utiliser des caractéristiques non interprétables lorsque cela est nécessaire, mais au prix d'une certaine interprétabilité. Le « modèle à goulot d'étranglement conceptuel conscient des interventions » (IA-CBM) est entraîné avec des interventions simulées, le rendant plus réactif aux corrections des utilisateurs.
Une autre ligne de travail se concentre sur la découverte automatique de concepts. Par exemple, les « modèles d'intégration de concepts » apprennent des plongements de concepts plutôt que des scores binaires, et les « modèles à goulot d'étranglement conceptuel sans étiquettes » utilisent un grand modèle de langage pré-entraîné pour générer des candidats de concepts à partir de descriptions textuelles, réduisant ainsi le besoin d'annotation manuelle des concepts. Ces approches ont été appliquées à des domaines tels que l'imagerie médicale et le traitement du langage naturel, où les étiquettes de concepts sont rares.
Dans le contexte de l'IA générative, les CBM ont été utilisés pour contrôler la sortie des modèles de génération d'images en intervenant sur les valeurs des concepts. Par exemple, un CBM pourrait être utilisé pour générer une image d'oiseau avec des attributs spécifiques comme « ventre rouge » ou « longue queue » en définissant les scores de concepts correspondants. Cela démontre l'utilité plus large de l'architecture au-delà de la classification.
Applications
Les modèles à goulot d'étranglement conceptuel ont trouvé des applications dans plusieurs domaines à enjeux élevés. Dans le secteur de la santé, ils sont utilisés pour diagnostiquer des lésions cutanées et prédire les résultats des patients à partir de dossiers de santé électroniques, où les cliniciens apprécient la possibilité de voir quels symptômes ou caractéristiques ont influencé une décision. Dans la conduite autonome, les CBM peuvent prédire les panneaux de signalisation ou les actions des piétons sur la base de concepts comme « panneau d'arrêt » ou « traversée de piéton », permettant une supervision humaine plus sûre.
Dans le domaine financier, les CBM ont été appliqués à la notation de crédit et à la détection de fraude, où les exigences réglementaires imposent souvent des explications pour les décisions automatisées. Dans le traitement du langage naturel, ils sont utilisés pour l'analyse de sentiments et la détection de contenus toxiques, avec des concepts tels que « sentiment positif » ou « contient un discours haineux » servant de sorties intermédiaires. L'interprétabilité offerte par les CBM facilite également le débogage, car les développeurs peuvent identifier quels concepts causent des erreurs et les corriger.
Limites et critiques
Malgré leurs avantages, les modèles à goulot d'étranglement conceptuel présentent plusieurs limites. La plus importante est la dépendance à des concepts prédéfinis, ce qui nécessite une expertise du domaine et peut ne pas couvrir tous les aspects pertinents de la tâche. Si un concept est manquant, le modèle ne peut pas l'utiliser, ce qui peut entraîner des erreurs systématiques. De plus, l'hypothèse selon laquelle les concepts sont indépendants est souvent violée en pratique, et la modélisation des corrélations entre concepts est un domaine de recherche en cours.
Une autre critique est que l'interprétabilité offerte par les CBM n'est aussi bonne que la définition des concepts. Si les concepts sont ambigus ou ne sont pas mutuellement exclusifs, les explications peuvent être trompeuses. En outre, les utilisateurs peuvent ne pas toujours avoir l'expertise nécessaire pour intervenir efficacement, et le mode interactif nécessite un humain dans la boucle, ce qui peut ne pas être réalisable dans tous les scénarios de déploiement. Enfin, le compromis de précision reste un obstacle pratique, et certains chercheurs soutiennent que les méthodes d'explication post-hoc sur des modèles de boîte noire peuvent fournir des informations similaires sans la pénalité de performance.
Orientations futures
La recherche sur les modèles à goulot d'étranglement conceptuel continue d'évoluer, avec plusieurs directions prometteuses. Un domaine est l'intégration avec les architectures transformeur, qui sont devenues dominantes en vision et en langage. Des travaux récents explorent comment incorporer des goulots d'étranglement conceptuels dans les modèles basés sur les transformeurs, par exemple en ajoutant des têtes de prédiction de concepts aux couches intermédiaires. Une autre direction est l'utilisation du retour d'information humain pour affiner les définitions de concepts et améliorer l'alignement du modèle avec les attentes des utilisateurs.
Il existe également un intérêt croissant pour l'utilisation des CBM pour l'élagage de modèles et l'efficacité, car la structure de goulot d'étranglement peut être exploitée pour réduire le coût de calcul. De plus, le cadre des CBM est étendu aux entrées multi-modales, où les concepts peuvent couvrir différentes modalités, comme la combinaison d'attributs visuels et textuels. Alors que la demande d'IA explicable augmente, en particulier dans les industries réglementées, les modèles à goulot d'étranglement conceptuel sont susceptibles de rester un domaine de recherche et de développement actif.