En intelligence artificielle (IA), en particulier en apprentissage automatique, l'ablation est le retrait d'un composant d'un système d'IA. Une étude d'ablation vise à déterminer la contribution d'un composant à un système d'IA en supprimant ce composant, puis en analysant les performances résultantes du système. Le terme est une analogie avec la biologie, plus précisément le retrait de composants d'un organisme, et est particulièrement utilisé dans l'analyse des réseaux de neurones artificiels par analogie avec la chirurgie cérébrale ablative. D'autres analogies incluent les systèmes neurologiques tels que celui de la drosophile et du cerveau des vertébrés.
Les études d'ablation exigent qu'un système présente une dégradation gracieuse : le système doit continuer à fonctionner même lorsque certains composants sont manquants ou dégradés. Selon certains chercheurs, les études d'ablation ont été considérées comme une technique pratique pour étudier l'intelligence artificielle et sa durabilité face aux dommages structurels. Elle a également été utilisée, par exemple, pour étudier comment et quelles structures de connaissances d'un modèle de cognition dans Soar de Newell contribuent à la cognition.
Les études d'ablation endommagent ou suppriment certains composants dans un cadre contrôlé afin d'étudier tous les résultats possibles d'une défaillance du système ; cela caractérise la manière dont chaque action impacte les performances et les capacités globales du système. Le processus d'ablation peut être utilisé pour tester des systèmes qui effectuent des tâches telles que la reconnaissance vocale, la détection d'objets et le contrôle de robots.
Historique
Le terme est attribué à Allen Newell, l'un des fondateurs de l'intelligence artificielle, qui l'a utilisé dans son tutoriel de 1974 sur la reconnaissance vocale, publié dans Newell (1975). Le terme est une analogie avec l'ablation en biologie. La motivation était que, bien que les composants individuels soient conçus, la contribution d'un composant individuel aux performances globales du système n'est pas claire ; le retrait de composants permet cette analyse. Newell a comparé le cerveau humain aux ordinateurs artificiels. Avec cette idée en tête, Newell considérait les deux comme des systèmes de connaissances, tandis que des procédures telles que l'ablation peuvent être effectuées sur les deux pour tester certaines hypothèses.
Méthodologie
Les études d'ablation impliquent généralement de supprimer ou de désactiver systématiquement des parties spécifiques d'un modèle, telles que des couches, des neurones ou des têtes d'attention, puis de mesurer le changement de performance sur une tâche de référence. Ce processus est souvent répété pour chaque composant afin de construire une carte des parties essentielles et des parties redondantes. En apprentissage profond, l'ablation peut être appliquée à des composants tels que les connexions résiduelles, la normalisation par lots ou les couches de dropout. Par exemple, une étude d'ablation pourrait retirer un mécanisme d'attention multi-têtes d'un modèle transformer pour voir à quel point ses performances sur une tâche linguistique se dégradent, révélant ainsi l'importance de ce mécanisme.
Applications
L'ablation est largement utilisée dans la recherche en apprentissage automatique pour valider la conception de nouvelles architectures. Lorsqu'une équipe de recherche introduit un nouveau composant, tel qu'une nouvelle fonction de perte ou un encodage positionnel, elle mène souvent des études d'ablation pour démontrer que ce composant est responsable des améliorations observées. C'est une pratique standard dans les articles présentés lors des grandes conférences. Dans la détection d'objets et la reconnaissance vocale, l'ablation aide à identifier quelles caractéristiques d'un modèle sont critiques pour la précision. Dans les réseaux de neurones, l'ablation peut également être utilisée pour comprendre le rôle de couches ou de filtres individuels, de la même manière que les neuroscientifiques lèsent des régions cérébrales pour étudier leur fonction.
Utilisation pour la désensibilisation des LLM
Le terme abliteration a été inventé pour désigner le processus d'utilisation de l'ablation pour désensibiliser les grands modèles de langage en modifiant les fonctions internes afin d'éliminer complètement les comportements de refus tout en préservant les fonctions restantes du modèle. Le mot est un mot-valise qui combine les mots ablation et obliteration. Cette technique a attiré l'attention dans le contexte des grands modèles de langage développés par des organisations comme OpenAI, Anthropic et Google DeepMind. En identifiant et en supprimant les composants spécifiques qui déclenchent les refus, les chercheurs peuvent créer des modèles qui répondent à une gamme plus large de requêtes, bien que cela soulève des préoccupations éthiques et de sécurité.
Relation avec d'autres concepts
L'ablation est liée mais distincte d'autres techniques d'analyse de modèles. L'ablation de caractéristiques fait spécifiquement référence au retrait de caractéristiques d'entrée plutôt que de composants internes. L'ablation est également similaire à l'analyse de sensibilité, mais elle se concentre sur le retrait structurel plutôt que sur la perturbation des paramètres. Dans le contexte de la cognition et de l'intelligence artificielle, les études d'ablation ont été utilisées pour tester des théories sur la manière dont les connaissances sont organisées, comme le montre le travail sur Soar. Le concept de dégradation gracieuse est central, ce qui signifie qu'un système bien conçu ne devrait pas échouer de manière catastrophique lorsqu'une partie est retirée, ce qui est une propriété souhaitable pour une IA robuste.
Limites
Les études d'ablation ont des limites. Le retrait d'un composant peut amener d'autres composants à compenser, ce qui rend difficile l'isolement de la véritable contribution. Les résultats dépendent également de la tâche spécifique et de l'ensemble de données utilisés. Dans des modèles complexes comme les transformers, les interactions entre composants peuvent être non linéaires, de sorte que l'effet du retrait d'une partie peut ne pas être additif. Malgré ces défis, l'ablation reste un outil pratique et largement utilisé dans la recherche en IA.
Voir aussi
- Allen Newell
- Apprentissage automatique
- Réseau de neurones
- Apprentissage profond
- Transformer
- Grand modèle de langage
- Reconnaissance vocale
- Détection d'objets
- Cognition
- Ablation de caractéristiques
- Dropout
- Normalisation par lots
- Réseau résiduel
- Attention multi-têtes
- Encodage positionnel
- Fonctions de perte