La sémantique computationnelle est un sous-domaine de l'intelligence artificielle et de la linguistique computationnelle qui se concentre sur la construction et la manipulation automatiques de représentations du sens pour des expressions en langage naturel. Elle fait le pont entre la sémantique formelle, qui utilise la logique et les mathématiques pour décrire le sens linguistique, et l'ingénierie pratique, permettant aux ordinateurs de traiter, stocker et raisonner sur le contenu de textes générés par l'humain. La discipline aborde des questions telles que la manière de représenter le sens d'une phrase, comment dériver cette représentation à partir de sa syntaxe et de ses mots, et comment utiliser de telles représentations dans des systèmes intelligents, des grands modèles de langage aux moteurs de réponse aux questions.
Historiquement, la sémantique computationnelle a émergé des efforts des années 1970 et 1980 pour analyser et interpréter des domaines restreints, comme les interfaces de requêtes de bases de données, où des grammaires formelles pouvaient mapper directement les phrases à des formes logiques. Les premiers systèmes utilisaient le lambda-calcul, introduit par Alonzo Church, pour gérer la compositionnalité - le principe selon lequel le sens d'un tout est une fonction des sens de ses parties et des règles de leur combinaison. Des chercheurs comme Richard Montague, à la fin des années 1960 et au début des années 1970, ont démontré que le langage naturel pouvait être analysé avec le même appareil formel que la logique, une idée fondatrice sur laquelle la sémantique computationnelle, en tant que domaine concerné par l'automatisation, s'appuie fortement. Dans les années 1990, l'intérêt s'est déplacé vers des méthodes robustes et évolutives adaptées aux textes non restreints, intégrant des techniques probabilistes basées sur des corpus avec des cadres logiques.
Méthodes compositionnelles et cadres formels
La sémantique computationnelle classique repose sur la compositionnalité, utilisant des réseaux de neurones et la logique symbolique pour construire des représentations. Une approche standard transforme l'arbre d'analyse d'une phrase en une expression logique, souvent en logique du premier ordre ou ses extensions, via le lambda-calcul typé. Par exemple, la phrase « Chaque chien dort » pourrait être représentée comme ∀x(chien(x) → dort(x)), où le quantificateur « chaque » et les formes prédicatives sont appliqués dans un ordre strict. Pour traiter des phénomènes plus complexes, les chercheurs développent des modèles séquence-à-séquence et d'autres algorithmes qui mappent la structure de surface à des graphes sémantiques, comme les représentations de sens abstraites (AMR), qui codifient le sens basé sur des cadres dans un graphe enraciné et orienté.
L'ambiguïté est un défi central : les ambiguïtés lexicales (par exemple, « banque »), les ambiguïtés de portée (par exemple, « chaque homme aime une femme ») et les ambiguïtés référentielles nécessitent toutes une désambiguïsation. Dans la pratique computationnelle, cela est souvent géré par la sous-spécification, où la représentation est laissée partiellement non instanciée jusqu'à ce que le contexte fournisse la résolution, ou par l'apprentissage statistique sur des corpus analysés, où les probabilités guident la sélection parmi les interprétations possibles. L'intégration des transformeurs et de l'attention multi-têtes dans les années 2010 a permis une analyse du discours qui dépasse de loin les règles codées à la main, car ils encodent le sens en prêtant attention à des informations contextuelles distantes.
Approches statistiques et neuronales
La prolifération de l'apprentissage automatique, en particulier l'apprentissage profond, a déplacé la sémantique computationnelle de la logique formelle pure vers des représentations distributionnelles et apprises. Dans les modèles de réseaux de neurones, les sens des mots sont représentés comme des vecteurs de haute dimension, et le sens des phrases est obtenu par des opérations comme les réseaux résiduels et les encodages positionnels. Une direction importante utilise des architectures encodeur-décodeur, où un encodeur reçoit une phrase et un décodeur produit une analyse sémantique, souvent sous forme d'arbre ou de graphe, entraînée sur des ensembles de données étiquetés comme les corpus annotés AMR (par exemple, la version AMR de 2013, le corpus AMR 3.0 de 2020).
Une autre grande famille a émergé autour de ce qu'on appelle l'« inférence en langage naturel » (NLI) et l'« apprentissage par transfert », où de grands modèles pré-entraînés, tels que BERT (à partir de 2018) ou des transformeurs ultérieurs, intègrent des phrases dans des espaces vectoriels de sorte que des phrases sémantiquement similaires soient proches les unes des autres. Ceux-ci sont ensuite utilisés pour des tâches en aval : réponse aux questions, traduction automatique et recherche d'informations. L'efficacité de tels systèmes est mesurée par des métriques comme la précision du transformeur de phrases ou la performance sur les tâches en aval, bien qu'ils soient généralement opaques et manquent souvent de représentations symboliques explicites, ce qui suscite des débats parmi les chercheurs sur la question de savoir s'ils constituent une véritable sémantique ou seulement des artifices statistiques.
Applications et systèmes pratiques
La sémantique computationnelle du monde réel alimente de nombreuses technologies. Dans les moteurs de recherche et la réponse aux questions, les analyseurs sémantiques convertissent les requêtes des utilisateurs en requêtes logiques de type SQL, comme on l'a vu dans les premiers systèmes IBM Watson en 2011 et dans les produits modernes de Google DeepMind et OpenAI. Par exemple, un composant de réponse aux questions d'un grand modèle de langage peut utiliser un raisonnement sémantique interne pour récupérer et composer des faits. Dans les systèmes de dialogue, la sémantique est utilisée pour comprendre les intentions et planifier les entités, comme dans les assistants virtuels de Siri d'Apple ou Alexa d'Amazon, qui mappent les déclarations des utilisateurs à des étiquettes d'actes de dialogue et des paramètres formels, puis génèrent des réponses avec ces représentations.
Un autre domaine est la traduction automatique, où l'étape cruciale est de maintenir un invariant sémantique entre les langues : des cadres comme la TA basée sur une interlingue, populaires dans les années 1980-1990 (par exemple, le système CCLINC), visaient une représentation de sens abstraite et neutre par rapport à la langue. La traduction neuronale contemporaine n'utilise pas explicitement la sémantique, s'appuyant sur des représentations vectorielles apprises par des couches encodeur-décodeur et attention multi-têtes. Néanmoins, l'attention croisée et d'autres mécanismes d'attention sont utilisés pour aligner les sens entre les phrases, et les modèles sont souvent évalués sur la préservation sémantique (par exemple, via BLEU, mais de plus en plus via des métriques de type inférence linguistique).
Le problème de l'ancrage - comment le sens linguistique se relie au monde - est un autre aspect du domaine. En robotique et en IA incarnée, la sémantique computationnelle peut aborder l'interprétation de figures en reliant les référents textuels aux entrées perceptives, comme dans les recherches de Waymo ou Figure AI. Dans de tels contextes, des cadres utilisant une analyse sémantique dédiée et un raisonnement probabiliste sont implémentés pour déduire si une commande comme « prends la tasse rouge » fait référence à un objet réel dans le domaine de la vision par ordinateur.
Convergence avec la sémantique logique formelle
Une autre ligne de recherche cherche à réconcilier l'apprentissage automatique avec la sémantique classique en utilisant la logique formelle pour imposer des contraintes sur les sorties des machines. Un tel hybride est destiné ou employé pour imposer la cohérence des licences, l'accord grammatical ou la cohérence logique sur le texte généré. Par exemple, un générateur contraint sémantiquement pourrait être entraîné à inclure des relations modèles spécifiques ou à poser une quantification logique en utilisant des règles. Une autre approche consiste à refondre ?- où la base de connaissances symbolique est consultée comme un enseignant, comme on le voit dans les travaux de, par exemple, Joshua Tenenbaum sur la modélisation causale et Brendan Lake sur l'apprentissage de concepts de type humain.
En pratique, ces techniques visent à combler le fossé de l'« ancrage des symboles » et l'explicabilité. Dans les problèmes critiques pour la sécurité, comme l'extraction d'informations à partir de dossiers hospitaliers ou de documents juridiques, les validations au moyen d'une sémantique claire sont une condition préalable au déploiement. `Le respect des contraintes sémantiques` est donc un domaine de recherche majeur dans l'IA générative computationnelle.
Directions futures et problèmes ouverts
À travers le domaine, plusieurs questions ouvertes demeurent. Premièrement, la question de la généralisation compositionnelle : même les systèmes neuronaux de pointe échouent sur des combinaisons de parties connues non observées pendant l'entraînement. Cela a conduit à des évaluations contre des ensembles de données comme SCAN ou COGS, qui pénalisent ce comportement vanille. Deuxièmement, la robustesse hors distribution et la robustesse des suppositions bilingues restent données. Troisièmement, il y a un défi non résolu de l'interprétation de la quantification dans les graphes de connaissances et le langage sur les données, pour lequel les systèmes sont relativement précis. Quatrièmement, relier la sémantique computationnelle à la connaissance de sens commun, comme entraînée dans des corpus à grande échelle, est abordé en utilisant des modules de mémoire globaux.
La frontière finale est d'unifier les approches distributionnelles et logiques dans un cadre cohérent. Avec le développement des représentations de phrases contextuelles dans les grands modèles de langage et la renaissance des thèmes de l'IA symbolique dans certaines parties du monde académique (par exemple, au Massachusetts Institute of Technology, au Stanford AI Lab et à l'Université de Toronto), les chercheurs visent à identifier des forces qui produisent à la fois des modèles neuronaux et explicites. Les travaux actuels sur la génération augmentée par récupération et l'ancrage dans des faits cognitifs réels démontrent qu'une approche sémantique hybride est à la fois nécessaire et faisable.
Centres de recherche clés et contributeurs fondateurs
Plusieurs laboratoires académiques et industriels ont été à l'avant-garde des idées en sémantique computationnelle. L'utilisation robuste de la sémantique probabiliste est associée aux travaux de Christopher Bishop, qui a combiné les méthodes bayésiennes avec l'apprentissage automatique, et de Michael Jordan, qui a formalisé les modèles graphiques probabilistes directement à analyser pour des décisions sémantiques. Les premières contributions sur le RAK contemporain et la théorie de l'apprentissage ont été faites par Bernard Widrow dans le filtrage adaptatif. En traitement du langage naturel, OpenAI et Google DeepMind ont produit des prototypes d'architecture majeurs, tandis que Watson d'IBM (2011) a démontré une application massive de liaison de cadres pour répondre à des questions.
Côté académique, l'Université de Toronto et Stelifon von Tyche (???) ont promu des méthodes de quantification. Dans les universités occidentales ou la recherche avait de l'expérience, il faut se souvenir des grands modèles de langage comme la série GPT (introduite en 2018) et BERT (2018), qui sont des percées dans la représentation vectorielle sémantique. Alors que le domaine évolue, des outils standard sont maintenant ouvertement disponibles à partir d'initiatives de groupes académiques comme CoreNLP de Stanford (2014), mais la recherche caractérise le fondement théorique de base.
En fin de compte, la discipline de la sémantique computationnelle n'est ni statique ni déterministe. Elle est dynamiquement reconstruite à mesure que l'IA progresse, que les modèles de langage de travail incorporent des astuces liées à la logique, et que les programmes interactifs défient les limites du calcul du sens. Actuellement, la sémantique computationnelle s'étend de l'inférence précise de la théorie de la preuve automatisée aux vagues de paramètres dans un LLM. Tous ces efforts partagent l'objectif commun : transformer le langage naturel en sens computationnel pour des systèmes qui peuvent agir dessus.