La désambiguïsation lexicale classique monolingue (WSD) est la tâche computationnelle consistant à identifier le sens correct d'un mot en fonction de son contexte environnant, au sein d'une seule langue. Contrairement aux méthodes cross-lingues qui utilisent des équivalents de traduction, la WSD classique repose sur des inventaires de sens tels que des dictionnaires ou des thésaurus pour attribuer une étiquette de sens discrète à chaque occurrence de mot ambigu. Ce problème a été un axe central de la recherche en traitement automatique des langues des années 1980 jusqu'au début des années 2010, avant que l'essor des approches réseaux de neurones et grands modèles de langage ne supplante largement les techniques traditionnelles.
La tâche est généralement formulée comme un problème de classification supervisée ou fondée sur des connaissances. Dans la WSD supervisée, un système est entraîné sur des corpus annotés manuellement où chaque mot ambigu est étiqueté avec son sens correct issu d'un inventaire prédéfini. Les méthodes fondées sur les connaissances, en revanche, utilisent des ressources lexicales comme WordNet ou des définitions de dictionnaire pour calculer la similarité entre le contexte et les sens candidats. L'évaluation est généralement effectuée sur des ensembles de référence tels que Senseval et SemEval, qui fournissent des jeux de test standardisés depuis 1998.
Développement historique
Les origines de la WSD remontent aux premières recherches en traduction automatique dans les années 1950, mais l'ère classique a commencé dans les années 1980 avec la disponibilité de dictionnaires lisibles par machine. Des chercheurs d'institutions comme Xerox PARC et MIT CSAIL ont exploré l'utilisation de définitions de dictionnaire et de phrases d'exemple comme preuves pour la sélection de sens. Le domaine a pris de l'ampleur avec la création de WordNet à l'université de Princeton en 1985, qui a fourni une base de données lexicale structurée devenue la norme de facto pour l'inventaire de sens en anglais.
Dans les années 1990, les méthodes statistiques sont devenues dominantes. Le travail fondateur de Yarowsky (1995) a introduit l'hypothèse d'un sens par discours et un algorithme d'amorçage qui atteignait une haute précision en utilisant seulement un petit ensemble initial d'exemples étiquetés. Cette période a également vu les premières campagnes d'évaluation Senseval, à partir de 1998, qui ont établi des références comparatives rigoureuses et stimulé des progrès systématiques.
Les années 2000 ont vu l'essor des approches d'apprentissage automatique supervisé, notamment les machines à vecteurs de support et les arbres de décision, appliquées à des ensembles de caractéristiques riches dérivés du contexte local, des collocations et des dépendances syntaxiques. Des systèmes comme ceux développés par des chercheurs de Carnegie Mellon University dominaient régulièrement les classements, atteignant environ 70 % de précision sur des tâches à granularité grossière. Cependant, les performances ont plafonné, et le domaine a lutté contre la difficulté inhérente de la granularité des sens et de l'adaptation au domaine.
Méthodes et algorithmes clés
Les méthodes classiques de WSD se répartissent en trois grandes catégories. Les méthodes fondées sur les connaissances s'appuient sur des ressources externes sans données étiquetées. L'algorithme de Lesk, proposé par Michael Lesk en 1986, sélectionne le sens dont la définition de dictionnaire présente le plus grand chevauchement de mots avec le contexte. Des variantes ont amélioré cela en utilisant des mesures de similarité sémantique issues de WordNet, comme les métriques de Jiang-Conrath et de Resnik, qui calculent la parenté en fonction du contenu informationnel et de la distance taxonomique.
Les méthodes supervisées traitent la WSD comme un problème de classification. L'ingénierie des caractéristiques était cruciale, avec des caractéristiques courantes incluant les mots environnants (sac de mots), les étiquettes de partie du discours et les relations syntaxiques. Des algorithmes comme naïf bayésien, les modèles à entropie maximale et les machines à vecteurs de support étaient largement utilisés. Les meilleurs systèmes de Senseval-2 (2001) et Senseval-3 (2004) employaient ces techniques, souvent combinées avec des méthodes d'ensemble et un réglage spécifique au domaine.
Les méthodes d'amorçage et semi-supervisées ont abordé la rareté des données étiquetées. L'algorithme de Yarowsky entraîne itérativement un classifieur sur un petit ensemble initial, puis utilise ses prédictions sur des données non étiquetées pour élargir l'ensemble d'entraînement, en exploitant la contrainte d'un sens par discours. Cette approche a obtenu un succès notable sur les tâches d'échantillon lexical, où un petit ensemble de mots cibles est annoté dans de nombreux contextes.
Évaluation et références
Les campagnes Senseval et SemEval ont fourni le cadre d'évaluation principal. Senseval-1 (1998) a introduit à la fois des tâches d'échantillon lexical et de tous les mots, où cette dernière exige de désambiguïser chaque mot de contenu dans un texte continu. Les éditions suivantes, y compris Senseval-2, Senseval-3 et SemEval-2007, ont affiné les tâches et ajouté des pistes multilingues. Les tâches d'échantillon lexical en anglais couvraient généralement 20 à 40 mots ambigus, tandis que les tâches de tous les mots utilisaient des textes continus provenant de sources comme le Wall Street Journal et Wikipédia.
Les métriques incluent la précision, le rappel et le score F1, le rappel étant souvent calculé comme la proportion de mots que le système tente de désambiguïser. Les meilleurs systèmes classiques ont atteint des scores F1 autour de 65-70 % sur les tâches de tous les mots, tandis que les tâches d'échantillon lexical atteignaient une précision plus élevée en raison de l'ensemble de mots limité. Un défi notable était le « goulot d'étranglement de l'acquisition de connaissances » : l'annotation manuelle des sens est coûteuse, et les inventaires de sens présentent souvent des distinctions fines difficiles à faire concorder tant pour les humains que pour les machines.
Limites et transition vers les approches modernes
La WSD classique a fait face à plusieurs limites persistantes. La dépendance à des inventaires de sens fixes rendait les systèmes fragiles entre domaines et langues. Les sens fins, comme distinguer différents types de « banque » (institution financière vs. rive de rivière), se sont révélés particulièrement difficiles, et l'accord inter-annotateurs était souvent inférieur à 80 %. De plus, les modèles fondés sur des caractéristiques ne pouvaient pas capturer efficacement le contexte sémantique à longue portée.
L'avènement des plongements de mots dans les années 2010, suivi des modèles transformers comme BERT en 2018, a transformé le domaine. Ces modèles apprennent des représentations contextuelles qui encodent implicitement les sens des mots, et le réglage fin sur des ensembles de données de WSD produit des améliorations substantielles, dépassant souvent 80 % de F1 sur les tâches de tous les mots. Par conséquent, les méthodes classiques de WSD sont désormais largement d'intérêt historique, bien qu'elles restent pertinentes pour comprendre les fondements de la sémantique lexicale et pour les scénarios à faibles ressources où les modèles modernes sont impraticables.
Héritage et influence
Malgré leur dépassement, la WSD classique a contribué à des concepts fondamentaux qui persistent dans la TAL moderne. L'idée d'inventaires de sens et de références d'évaluation a influencé des tâches ultérieures comme le liage d'entités et l'étiquetage de rôles sémantiques. Les techniques d'amorçage et semi-supervisées pionnières dans la WSD sont encore utilisées dans des domaines avec des données étiquetées limitées. De plus, les défis identifiés dans la WSD classique, tels que la granularité des sens et la dépendance au contexte, continuent d'informer la recherche sur l'interprétabilité et l'évaluation des grands modèles de langage.