L'induction de grammaire est la tâche consistant à inférer automatiquement une grammaire formelle (telle qu'une grammaire hors-contexte ou une grammaire probabiliste hors-contexte) à partir d'un ensemble de chaînes ou de phrases observées. L'objectif est de capturer les régularités syntaxiques sous-jacentes d'une langue, permettant à un système de générer de nouvelles phrases valides ou d'analyser des phrases non vues. Ce problème se situe à l'intersection de apprentissage automatique, intelligence artificielle et de la linguistique computationnelle, et a été étudié depuis les débuts de l'informatique. Contrairement à l'apprentissage supervisé avec des étiquettes explicites, l'induction de grammaire opère souvent sur du texte non annoté, ce qui en fait une forme d'apprentissage non supervisé ou faiblement supervisé.
Le domaine a des racines profondes à la fois en informatique théorique et en science cognitive. Le théorème classique de Gold (1967) a démontré que certaines classes de grammaires ne peuvent pas être apprises à partir de seuls exemples positifs à la limite, ce qui a motivé l'utilisation de contraintes supplémentaires ou de cadres probabilistes. Des travaux ultérieurs, tels que le développement de l'algorithme Inside-Outside (une généralisation de l'algorithme forward-backward pour les grammaires probabilistes hors-contexte), ont fourni des méthodes pratiques pour l'estimation des paramètres. Les approches modernes exploitent souvent des architectures de réseaux de neurones, en particulier des modèles basés sur transformeurs, pour induire des structures de type grammatical à partir de grands corpus.
Fondements historiques
L'étude formelle de l'induction de grammaire a commencé dans les années 1950 et 1960 avec les travaux de Noam Chomsky et d'autres sur la théorie des langages formels. La hiérarchie de Chomsky a classé les grammaires selon leur puissance générative, des grammaires régulières aux grammaires récursivement énumérables. En 1967, E. Mark Gold a prouvé que les grammaires hors-contexte ne peuvent pas être apprises à partir de seuls exemples positifs, un résultat qui a façonné les recherches ultérieures. Cela a conduit à l'exploration de l'apprentissage à partir d'exemples positifs et négatifs, ainsi qu'à l'utilisation de grammaires probabilistes, où l'objectif est de trouver la grammaire la plus probable étant donné les données.
Dans les années 1980 et 1990, les méthodes computationnelles ont progressé avec l'introduction d'algorithmes comme l'analyseur CYK et l'algorithme Inside-Outside. Ceux-ci ont permis une analyse et une estimation des paramètres efficaces dans les grammaires probabilistes hors-contexte. Des chercheurs comme Dana Angluin ont développé des cadres d'apprentissage actif, où un apprenant peut interroger un oracle sur l'appartenance de chaînes, ce qui contournait certaines limitations de Gold. Le domaine s'est également inspiré de la science cognitive, en particulier de la question de savoir comment les nourrissons humains acquièrent le langage à partir d'un apport limité, un sujet exploré par des chercheurs comme Brendan Lake et Joshua Tenenbaum dans le contexte de l'apprentissage de type humain.
Approches probabilistes et bayésiennes
Un changement majeur dans l'induction de grammaire est venu avec l'adoption de méthodes probabilistes et bayésiennes. Au lieu de rechercher une seule grammaire, ces approches maintiennent une distribution sur les grammaires possibles et la mettent à jour à mesure que plus de données sont observées. L'algorithme Inside-Outside, introduit par James Baker en 1979, est un exemple clé, fournissant une procédure d'espérance-maximisation (EM) pour estimer les paramètres d'une grammaire probabiliste hors-contexte. Cet algorithme est analogue à l'algorithme forward-backward utilisé dans les modèles de Markov cachés.
Les approches bayésiennes, telles que celles développées par Mark Johnson et d'autres, intègrent des distributions a priori sur les structures de grammaire, permettant l'induction de grammaires plus compactes et généralisables. Ces méthodes utilisent souvent l'échantillonnage de Monte Carlo par chaînes de Markov (MCMC) pour explorer l'espace des grammaires. Un exemple notable est le travail sur l'induction bayésienne de grammaire pour le langage naturel, qui a été appliqué à des corpus à petite échelle et a montré qu'il récupère des catégories syntaxiques similaires à celles des grammaires humaines. Ces techniques ont également été utilisées en modélisation cognitive pour tester des hypothèses sur l'acquisition du langage.
Méthodes neuronales et d'apprentissage profond
Avec l'essor du apprentissage profond, l'induction de grammaire a été revisitée en utilisant des architectures de réseaux de neurones. Les premières approches neuronales utilisaient des réseaux de neurones récurrents (RNN) et des réseaux à mémoire à long terme (LSTM) pour modéliser des données séquentielles, mais celles-ci n'induisaient pas explicitement des grammaires. Plus récemment, des modèles basés sur transformeurs, tels que ceux utilisés dans les grands modèles de langage, se sont révélés capter implicitement la structure syntaxique. Par exemple, des études de sondage ont démontré que ces modèles encodent des informations hiérarchiques et grammaticales dans leurs représentations internes, même s'ils ne sont pas entraînés avec une supervision grammaticale explicite.
Des modèles explicites d'induction de grammaire neuronale ont également été développés. Le ON-LSTM (LSTM à neurones ordonnés) introduit par Yikang Shen et ses collègues en 2019 utilise un mécanisme de gating spécial pour induire une structure arborescente latente. Le modèle DIORA (Ontologie inférée dynamiquement pour l'annotation récursive), proposé par Andrew Drozdov et d'autres, utilise une version différentiable de l'algorithme inside-outside pour induire des arbres de constituants. Ces modèles sont entraînés sur du texte brut et peuvent produire des arbres d'analyse qui s'alignent raisonnablement bien avec les treebanks annotés par des humains, atteignant des résultats de pointe sur des benchmarks d'analyse non supervisée.
Applications et défis
L'induction de grammaire a des applications pratiques dans plusieurs domaines. En traitement du langage naturel, les grammaires induites peuvent être utilisées pour l'analyse non supervisée, ce qui est précieux pour les langues à faibles ressources où les treebanks annotés ne sont pas disponibles. En apprentissage automatique, l'induction de grammaire peut améliorer l'efficacité d'échantillonnage des modèles en fournissant des biais inductifs structurels. En science cognitive, elle offre un cadre computationnel pour comprendre l'acquisition du langage. De plus, l'induction de grammaire a été appliquée à d'autres domaines, tels que la bioinformatique (par exemple, la prédiction de structure secondaire de l'ARN) et la synthèse de programmes, où la structure sous-jacente est grammaticale.
Malgré les progrès, l'induction de grammaire reste un problème difficile. L'espace de recherche des grammaires possibles est vaste, et les fonctions objectives sont souvent non convexes, conduisant à des optima locaux. L'évaluation est également difficile, car il n'existe pas de grammaire unique correcte pour une langue donnée ; différentes grammaires peuvent être également valides. Le domaine continue d'évoluer, avec des travaux récents explorant l'intégration de l'induction de grammaire avec les grands modèles de langage pour améliorer leur interprétabilité et leur généralisation compositionnelle. Des chercheurs d'institutions comme MIT CSAIL et Stanford AI Lab étudient activement ces directions, visant à combler le fossé entre les approches symboliques et connexionnistes du langage.