La compréhension du langage naturel (CLN), également appelée interprétation du langage naturel (ILN), est un sous-ensemble de l'intelligence artificielle et du traitement du langage naturel qui se concentre sur la compréhension de lecture par machine. Elle consiste à permettre aux ordinateurs de dériver un sens à partir d'une entrée de langage humain, qu'elle soit parlée ou écrite. La CLN a été décrite comme un problème difficile pour l'IA car elle exige une connaissance étendue du monde et la capacité de gérer l'ambiguïté, le contexte et la variabilité de l'expression. Le domaine suscite un intérêt commercial considérable en raison de ses applications dans le raisonnement automatisé, la traduction automatique, la réponse aux questions, la collecte de nouvelles, la catégorisation de textes, l'activation vocale, l'archivage et l'analyse de contenu à grande échelle.
Les systèmes de CLN varient considérablement en portée et en profondeur. L'étendue fait référence à la taille du vocabulaire et de la grammaire qu'un système peut gérer, tandis que la profondeur fait référence à la proximité de sa compréhension avec celle d'un locuteur natif courant. Les interpréteurs de commandes simples sont étroits et peu profonds, tandis que les systèmes qui analysent des articles de journaux complets sont vastes et profonds. La plupart des applications réelles se situent entre ces extrêmes, comme les systèmes de routage de courriels qui classent les messages par sujet sans nécessiter une compréhension sémantique profonde.
Développement historique
Les premières tentatives de CLN remontent aux années 1960. En 1964, Daniel Bobrow a écrit le programme STUDENT pour sa thèse de doctorat au MIT, qui résolvait des problèmes d'algèbre en mots en comprenant une entrée simple en langage naturel. Un an plus tard, Joseph Weizenbaum au MIT a créé ELIZA, un programme interactif qui simulait une conversation en faisant correspondre des mots-clés à des phrases toutes faites. Bien qu'ELIZA manquait de compréhension réelle, elle a démontré l'intérêt du public pour le dialogue machine.
En 1969, Roger Schank à l'Université de Stanford a introduit la théorie de la dépendance conceptuelle, qui représentait le sens par des actions primitives et a influencé les travaux ultérieurs à l'Université Yale. En 1970, William A. Woods a développé le réseau de transition augmenté (ATN), un formalisme pour analyser le langage naturel à l'aide d'automates finis récursifs. En 1971, Terry Winograd a achevé SHRDLU au MIT, qui pouvait comprendre et manipuler un monde virtuel de blocs par des commandes en anglais, une étape marquante dans la démonstration de la compréhension située.
Au cours des années 1970 et 1980, des groupes de recherche tels que SRI International ont fait progresser les techniques de CLN, et des efforts commerciaux ont émergé, notamment Symantec (fondée par Gary Hendrix en 1982) et Cognitive Systems Corp. (cofondée par Roger Schank). En 1983, Michael Dyer a construit le système BORIS à Yale, qui traitait la compréhension narrative. Cependant, ces systèmes étaient limités à des domaines étroits et manquaient de compréhension générale.
L'ère de l'apprentissage automatique
Le troisième millénaire a apporté des approches d'apprentissage automatique à la CLN. IBM Watson, qui a remporté le jeu télévisé Jeopardy! en 2011, utilisait des méthodes statistiques pour répondre aux questions, bien que des critiques comme le philosophe John Searle aient soutenu que Watson ne comprenait pas vraiment les questions. Au cours des années 2010, les plongements de mots tels que word2vec représentaient les mots comme des vecteurs denses, capturant les relations syntaxiques et sémantiques. Plus tard, des modèles basés sur les transformeurs comme BERT ont introduit un pré-entraînement à grande échelle suivi d'un réglage fin, améliorant considérablement les performances sur des tâches telles que la réponse aux questions et l'inférence en langage naturel.
Ces avancées, motivées par le apprentissage profond et les réseaux neuronaux, ont conduit au développement de grands modèles de langage tels que GPT-3 et ses successeurs, qui génèrent un texte fluide et effectuent de nombreuses tâches de CLN avec une grande précision. Cependant, les experts débattent de la question de savoir si ces modèles présentent une compréhension authentique ou simplement une correspondance statistique de motifs. Le scientifique cognitif John Ball, inventeur de la théorie Patom, soutient que le traitement du langage naturel conventionnel échoue toujours parce qu'il existe des milliers de façons de demander quelque chose dans le langage humain. Wibe Wagemans a noté qu'une conversation significative avec des machines exige de faire correspondre chaque mot au sens correct en fonction du contexte, comme le fait un enfant de 3 ans sans deviner.
Tâches et techniques fondamentales
La CLN englobe plusieurs tâches fondamentales, notamment la reconnaissance d'entités nommées, l'étiquetage morphosyntaxique, l'analyse syntaxique, l'étiquetage des rôles sémantiques et la résolution de coréférence. Ces tâches alimentent des applications de niveau supérieur telles que la détection d'intention dans les systèmes de dialogue, l'analyse des sentiments et l'inférence en langage naturel. Les approches traditionnelles utilisaient des grammaires basées sur des règles et des caractéristiques conçues à la main, mais les systèmes modernes reposent principalement sur le apprentissage automatique, en particulier les architectures de transformeur.
Les plongements de mots comme word2vec et les plongements contextuels de modèles comme BERT permettent aux systèmes de représenter les mots d'une manière qui capture le sens en fonction de l'usage. Le pré-entraînement sur des corpus massifs suivi d'un réglage fin sur des tâches spécifiques est devenu le paradigme standard. Cette approche a permis des percées dans la réponse aux questions, où les systèmes peuvent extraire des réponses de passages, et dans l'inférence en langage naturel, où ils déterminent si une hypothèse découle d'une prémisse.
Applications et intérêt commercial
La CLN a de nombreuses applications pratiques. Les assistants vocaux tels que Siri d'Apple, Alexa d'Amazon et l'Assistant Google s'appuient sur la CLN pour interpréter les commandes des utilisateurs. Les chatbots de service client utilisent la CLN pour acheminer les demandes et fournir des réponses. Les systèmes de classification de textes trient automatiquement les courriels, les articles de presse et les documents juridiques. Les systèmes de traduction automatique, comme Google Traduction, utilisent la CLN pour comprendre le texte source et générer des traductions. Dans le domaine de la santé, la CLN aide à extraire des informations des notes cliniques. Dans la finance, elle analyse les rapports de résultats et les actualités pour détecter des signaux de trading.
L'intérêt commercial est fort car la CLN peut automatiser des tâches qui nécessitaient auparavant une lecture et une compréhension humaines. Des entreprises comme OpenAI, Anthropic et Google DeepMind investissent massivement dans le développement de modèles de CLN avancés. Les fournisseurs de cloud tels que Amazon Web Services, Microsoft Azure et Google Cloud proposent des services de CLN sous forme d'API. Cependant, les limites des systèmes actuels, en particulier leur manque de raisonnement de bon sens robuste, restent un obstacle à une compréhension complète.
Défis et orientations futures
La CLN est confrontée à des défis persistants, notamment l'ambiguïté, la dépendance au contexte et la nécessité d'une connaissance du monde. Comprendre une phrase exige souvent des connaissances sur le monde physique et social qui ne sont pas explicitement énoncées. Par exemple, « Le trophée ne rentre pas dans la valise brune parce qu'elle est trop petite » nécessite de savoir quel objet est petit. Les modèles actuels ont souvent du mal avec de telles inférences pragmatiques.
Les orientations futures incluent l'intégration de la CLN avec des bases de connaissances externes, l'amélioration de l'apprentissage en quelques essais et en zéro essai, et le développement de modèles capables de raisonner et d'expliquer leurs décisions. Les chercheurs explorent également la compréhension multimodale, où le langage est combiné à la vision et à d'autres modalités. Au début des années 2020, aucun système n'a atteint une CLN de niveau humain, et cela reste un problème ouvert en intelligence artificielle.