L'apprentissage basé sur l'explication (EBL) est une forme d'apprentissage automatique qui exploite une théorie de domaine très forte, voire parfaite - une théorie formelle d'un domaine d'application, semblable à un modèle de domaine en ingénierie ontologique - afin de faire des généralisations ou de former des concepts à partir d'exemples d'entraînement. Contrairement aux méthodes empiriques qui exigent de nombreux exemples, l'EBL peut généraliser à partir d'un seul exemple en utilisant la théorie de domaine pour expliquer pourquoi l'exemple est un membre d'un concept. Cette explication est ensuite compilée en une règle réutilisable, ou macro, qui accélère le raisonnement futur. L'EBL est également lié à l'encodage en mémoire pour aider à l'apprentissage, car les généralisations dérivées sont stockées pour une récupération efficace.
L'approche repose sur l'idée qu'une théorie de domaine complète contient, en principe, toutes les informations nécessaires pour décider de toute question concernant le domaine. Par exemple, les règles des échecs forment une théorie de domaine parfaite pour les échecs, permettant de déduire le meilleur coup dans n'importe quelle position, bien qu'en pratique cela soit intraitable en raison de l'explosion combinatoire. L'EBL utilise des exemples d'entraînement pour guider la recherche de conséquences déductives, rendant le processus efficace en pratique.
Formulation de base
Un système EBL prend quatre entrées : un espace d'hypothèses (l'ensemble de toutes les conclusions possibles), une théorie de domaine (des axiomes sur le domaine d'intérêt), des exemples d'entraînement (des faits spécifiques qui éliminent certaines hypothèses) et des critères d'opérationnalité (des critères pour déterminer quelles caractéristiques sont efficacement reconnaissables, comme celles directement détectables par des capteurs). Le système fonctionne en trouvant une preuve courte de chaque exemple d'entraînement à partir de la théorie de domaine, puis en généralisant cette preuve en une règle qui peut être appliquée pour classer rapidement des exemples similaires futurs. Ce processus étend la base de données de la théorie de domaine, permettant une classification plus rapide des instances liées.
Le principal inconvénient de l'EBL est le problème d'utilité, analysé pour la première fois par Minton : à mesure que le nombre de macros de preuve apprises augmente, le coût de leur application peut dépasser leurs avantages. Ce problème a conduit à des raffinements dans la manière dont les règles apprises sont sélectionnées et utilisées.
Application en traitement du langage naturel
Un domaine d'application particulièrement bon pour l'EBL est le traitement du langage naturel (NLP). Ici, une théorie de domaine riche - comme une grammaire de langage naturel - n'est ni parfaite ni complète, mais peut être ajustée à une application ou à un usage linguistique particulier en utilisant un arbre de syntaxe comme exemples d'entraînement. Rayner a été le pionnier de ce travail, et la première application industrielle réussie a été une interface de langage naturel commerciale pour des bases de données relationnelles. La méthode a été appliquée avec succès à plusieurs systèmes d'analyse syntaxique de langage naturel à grande échelle, où le problème d'utilité a été résolu en omettant la grammaire originale (théorie de domaine) et en utilisant des techniques spécialisées d'analyse LR, ce qui a entraîné des accélérations énormes au prix d'une couverture réduite mais avec un gain en désambiguïsation.
Lors de l'application de l'EBL au NLP, les critères d'opérationnalité peuvent être conçus manuellement ou déduits de l'arbre de syntaxe en utilisant soit l'entropie de ses nœuds ou, soit un compromis cible couverture/désambiguïsation (équivalent au compromis rappel/précision ou au score f). L'EBL peut également être utilisé pour compiler des modèles de langage basés sur la grammaire pour la reconnaissance vocale à partir de grammaires d'unification générales. Le problème d'utilité a été résolu en écartant la grammaire originale, et les articles cités tendent à contenir la phrase « spécialisation de grammaire » - tout le contraire du terme original « généralisation basée sur l'explication ». Peut-être le meilleur nom pour cette technique serait la réduction de l'espace de recherche pilotée par les données.
D'autres chercheurs ayant travaillé sur l'EBL pour le NLP incluent Guenther Neumann, Aravind Joshi, Srinivas Bangalore et Khalil Sima'an. Des techniques similaires à l'EBL ont également été appliquées à la génération de surface, l'inverse de l'analyse syntaxique.
Relation avec d'autres paradigmes d'apprentissage
L'EBL contraste avec les méthodes d'apprentissage empiriques ou inductives, comme celles utilisées dans apprentissage automatique et apprentissage profond, qui exigent de grands ensembles de données pour généraliser. Alors que les approches réseaux de neurones comme les modèles transformeurs dans les systèmes grands modèles de langage apprennent des motifs statistiques à partir de corpus massifs, l'EBL exploite des connaissances symboliques explicites. Cela rend l'EBL particulièrement adapté aux domaines où une théorie forte existe mais où les données sont rares. Cependant, la dépendance de l'EBL à une théorie de domaine parfaite ou quasi parfaite limite son applicabilité aux domaines bien compris, tandis que les méthodes statistiques peuvent traiter des problèmes bruités ou mal compris.
En vision par ordinateur, l'EBL est lié à l'apprentissage en un seul exemple, où un modèle apprend à partir d'un seul exemple, mais l'EBL nécessite une théorie de domaine pour expliquer l'exemple, tandis que l'apprentissage en un seul exemple utilise souvent des connaissances préalables issues de tâches connexes. L'apprentissage en zéro exemple, qui classe des catégories non vues sans exemples, partage également des similitudes conceptuelles mais utilise généralement des plongements sémantiques plutôt que des preuves déductives.
Limites et extensions
La principale limitation de l'EBL est le problème d'utilité, où le surcoût de stockage et de correspondance des règles apprises peut dégrader les performances. L'analyse de Minton a montré que le coût d'application des macros de preuve apprises peut devenir prohibitif à mesure qu'elles s'accumulent. Les solutions incluent la rétention sélective des règles utiles, comme on le voit dans les applications NLP qui écartent la grammaire originale. Des extensions de l'EBL ont exploré sa combinaison avec des méthodes inductives, comme l'utilisation de l'EBL pour guider la recherche dans apprentissage curriculaire ou pour affiner les stratégies de augmentation de données. Dans la recherche en intelligence artificielle, l'EBL a influencé les travaux sur la généralisation basée sur l'explication dans la planification et le diagnostic, bien que les systèmes modernes de IA générative reposent principalement sur l'apprentissage statistique.
Voir aussi
- Apprentissage en un seul exemple en vision par ordinateur
- Apprentissage en zéro exemple
- Apprentissage automatique
- Intelligence artificielle