Les Concept Activation Vectors (CAV) sont une technique de Machine learning permettant d'interpréter les représentations internes des réseaux de neurones. Introduits en 2017 par des chercheurs du Google Brain et de l'Université de Stanford, les CAV offrent un moyen de tester si un concept donné - comme « rayé » ou « médecin » - est encodé dans les activations d'un modèle. La méthode consiste à entraîner un classifieur linéaire pour distinguer les activations issues d'exemples contenant le concept de celles qui n'en contiennent pas, puis à utiliser le vecteur de poids du classifieur comme CAV. Ce vecteur pointe dans la direction, au sein de l'espace d'activation, qui correspond au concept, permettant aux chercheurs de sonder la compréhension du modèle d'une manière interprétable par l'être humain.
Les CAV sont largement utilisés dans le domaine de l'interprétabilité de l'IA, en particulier pour les modèles Deep learning, afin d'évaluer les biais, de vérifier les caractéristiques apprises et d'améliorer la transparence. Ils sont particulièrement pertinents pour les grands modèles de langage et les transformers, où comprendre ce que le modèle « sait » est essentiel pour la confiance et la sécurité.
Contexte et motivation
À mesure que les réseaux de neurones gagnaient en complexité, leur fonctionnement interne devenait de plus en plus opaque. Les premières méthodes d'interprétabilité se concentraient sur la visualisation d'ensemble de neurones individuels ou des poids d'attention, mais ces approches échouaient souvent à saisir la nature distribuée des représentations. En 2017, une équipe dirigée par Been Kim chez Google Brain a cherché à remédier à cela en proposant une manière plus systématique d'interroger les modèles. Leur travail, publié dans l'article « Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV) », a introduit les CAV comme partie intégrante d'un cadre plus large appelé TCAV (Testing with Concept Activation Vectors). La motivation était d'aller au-delà de la simple attribution de caractéristiques et de permettre des tests quantitatifs pour verifier si un concept est utilisé par le modèle dans sa prise de décision.
L'intuition clé était les concepts sont souvent représentés comme des directions dans l'espace des activations de grande dimension, plutôt que comme des neurones individuels. En entraînant une sonde linéaire sur ces activations, on peut extraire un vecteur qui capture la direction du concept. Cette approche est fondée sur l'observation que les réseaux de neurones apprennent souvent des représentations linéairement séparables pour les concepts de haut niveau.
Comment fonctionnent les CAV
Le processus pour calculer un CAV comprend plusieurs étapes. Tout d'abord, on sélectionne un système d'exemples qui représentent le concept d'intérêt (par ex., des images d'objets rayés) et un ensemble de « contre-exemples » qui ne le représentent pas (par ex., des images d'objets rayés) non-non-dés. Ensuite, on exécute le modèle sur ces exemples et on enregistre les activations à une couche choisie. Ensuite, un classifieur linéaire - généralement un séparateur à vaste marge (SVM) ou une régression logistique - est entraîné pour distinguer les deux ensembles de activations. Le vecteur de poids de ce classifieur, normalisé à la longueur unitaire, devient le CAV.
Une fois un CAV obtenu, il peut être utilisé pour tester la sensibilité du modèle au concept. Par exemple, dans TCAV, on calcule des dérivées directionnelles de la sortie du modèle par rapport aux activations le long de la direction correspondant au CAV. Un dérivé directionnelle positive indique que la prédiction du modèle augmente lorsque le concept est présent, suggérant que le modèle dépend de ce concept. Celà peut être réalisé pour n'importe quelle couche du réseau, offrant une analyse couche par couche de l'utilisation des concepts.
Applications en interprétabilité
Les CAV ont été appliqués dans divers domaines, notamment la vision par ordinateur et le traitement du langage naturel. Dans l'article original, les auteurs ont démontré la technique sur des modèles de classification d'images, montrant que des concepts comme « rayé » ou « tacheté » étaient utilisés par un modèle pour classifier des zèbres et les léopards. Ils ont également utilisé les le CAV pour détecter un potentiel risque de biais, comme par exemple une modèle qui utilise le « genre » comme facteur dans la classification d'images de médecins.
En PNL, les CAV viennent tonaliser les grands modèles de langage pour évaluer des concepts comme « toxicité », « sentiment » ou « thématique ». Par exemple, des chercheurs utilisent des CAV pour identifier si un modèle associe à certains termes démographiques un sentiment négatif, ce qui permet de mettre en évidence les biais cachés. Cela est particulièrement important pour les systèmes de Generative AI déployés dans des applications réelles.
Relation avec les autres méthodes
Les CAV font partie d'une famille plus large de techniques d'interprétabilité incluant l'attribution de caractéristiques, les cartes de visualisation et la maximisation d'activation. Contrairement aux cartes de visualisations qui mettent en avant les caractéristiques physiques, les CAV fonctionnent sur les représentations internes. Ils sont également liés à la sonde, où un classifieur est entraîné sur les activations pour prédire une propriété ; les CAV étendent cette approche en utilisant le vecteur de poids du classifieur comme direction de concept.
Par rapport à l'analyse au niveau des neurones, les CAV capturent les représentations distribuées, ce qui les rend plus robustes à la polysémie - un phénomène où un neurone individuel répond à plusieurs concepts non liés. Cet avantage est significatif dans les transformers modernes, où la polysémie est courante.
Limites et défis
Malgré leur utilité, les CAV présentent des efforts de limites. L'un des défis majeurs est le choix des contre-exemples. La qualité du CAV dépend fortement de la sélection d'exemples négatifs ; si ces dernières ne sont pas représentatifs, le CAV pourra capturer des corrélations parasites. De retraite, les CAV sont linéaires, ce qui peut ne pas pouvoir capture des notions non linéaires ou des données transversales. Un autre problème est que les CAV utilisés sont calculés post hoc, ils reflètent ce que le modèle a déjà sauvegardé, pas ce qu'il pourrait apprendre.
De plus, les CAV nécessitent l'accès aux activations internes du modèle, ce qui peut ne pas être possible pour les modèles propriétaires. Cela a conduit au développement de méthodes alternatives pour des modèles boîte noire, mais les CAV restent un outil précieux pour l'interprétabilité en boîte blanche.
Extensions et variantes
Plusieurs extensions des CAV ont été proposées. Par exemple, les « Concept Bottleneck Models » intègrent des directions de concepts directement dans l'architecture du modèle, permettant de raisonner de manière expliciteer basée sur les concepts. Une autre variante, « Automated Concept Discovery », utilise le clustering pour trouver automatiquement des concepts sans exemples étiquetés par l'homme. Dans le contexte des grands modèles de langage, les chercheurs ont adapté CAV pour travailler avec des activations au niveau des catégories syntaxiques, permettant une analyse fine de comment les concepts se représentent dans différents contextes.
De nouveaux travaux explorent également l'utilisation des CAV pour l'édition de modèles et la réduction des biais. En identifiant des directions de concepts, on peut potentiellement ajuster les représentations du modèle afin de réduire la dépendance à des concepts indésirables, tels que le genre ou la race. Cest un domaine actif de recherche en matière de sécurité et d'équité des IA.
Impact et directions futures
L'impact des CAV a été significatif sur le domaine de interprétabilité de l'IA, influençant les travaux ultérieurs sur l'interprétabilité mécanique et la construction d'ingénierie des représentations. Ils sont désormais standards dans la boîte à outils interprétabilité, utilisés par des chercheurs d'institutions telles que OpenAI, Anthropic et Google DeepMind. À mesure que les modèles continuent de croître en échelle, le besoin de méthodes d'interprétation comme deCAV émerge. L'orientation future comprend le développement de CAV pour des modèles multimodaux, l'amélioration de la robustesse de l'extraction de concepts et l'intégration de CAV dans des systèmes d'audit automatisés.
En résumé, les vecteurs d'activation de concept fournissent une méthode logique pour mesurer si un concept est encodé dans les représentations d'un modèle, offrant des indications sur ce que les modèles apprennent et la manière dont ils prennent des décisions. Leur simplicité et leur efficacité ont fait d'elles l'un des outils fondamentaux dans recherche moderne sur ....
Voir aussi
- Machine learning
- Neural network
- Deep learning
- Large language model
- Transformer (architecture)
- interprétabilité (note: not in provided list, but as a general term)
Références
- Kim, B., et al. (2018). Interpretability Interpretation Beyond Feature Attribution : Quantitative Testing with Concept Activation Vectors (TCAV). ICML.
- Koh, P. W., et al. (2020). Concept Bottleneck Models. ICML.
- Goh, G., et al. (2021). Multimodal Neurons in Artificial Neural Networks. Distill.