En traitement du langage naturel, un plongement lexical (word embedding) est une représentation d'un mot sous forme de vecteur à valeurs réelles qui encode sa signification. L'idée centrale est que les mots plus proches dans l'espace vectoriel sont censés être similaires en sens, permettant une analyse quantitative des relations sémantiques. Les plongements lexicaux sont généralement obtenus grâce à la modélisation du langage et aux techniques d'apprentissage de caractéristiques, mappant des mots ou des phrases d'un vocabulaire vers des vecteurs de nombres. Il a été démontré que ces représentations améliorent les performances dans des tâches telles que l'analyse syntaxique et l'analyse des sentiments lorsqu'elles sont utilisées comme caractéristiques d'entrée.
Les méthodes pour générer des plongements lexicaux incluent les réseaux de neurones, la réduction de dimensionnalité sur les matrices de co-occurrence de mots, les modèles probabilistes et la représentation explicite des contextes. L'approche a évolué des premiers modèles d'espace sémantique aux techniques modernes d'apprentissage profond, devenant une pierre angulaire des systèmes de compréhension du langage naturel.
Développement et histoire
L'idée sous-jacente selon laquelle « un mot est caractérisé par la compagnie qu'il fréquente » a été proposée dans un article de 1957 par John Rupert Firth, ancrée dans la sémantique distributionnelle. Les premiers modèles d'espace sémantique, comme le modèle d'espace vectoriel pour la recherche d'information, représentaient les mots dans des espaces creux et de haute dimensionnalité. La réduction de dimensionnalité via la décomposition en valeurs singulières a conduit à l'analyse sémantique latente à la fin des années 1980. En 2000, Yoshua Bengio et ses collègues ont introduit des modèles de langage probabilistes neuronaux qui apprenaient des représentations distribuées pour les mots, réduisant la dimensionnalité. Une étude de NeurIPS de 2002 a appliqué l'analyse canonique des corrélations à noyau à des corpus bilingues, un exemple précoce d'apprentissage auto-supervisé pour les plongements lexicaux.
Après les travaux fondateurs de Bengio et d'autres, la plupart des nouvelles techniques après environ 2005 reposaient sur des architectures de réseaux de neurones. En 2013, une équipe de Google dirigée par Tomas Mikolov a créé word2vec, une boîte à outils qui entraînait des modèles d'espace vectoriel plus rapidement que les approches précédentes, popularisant largement les plongements lexicaux. Des travaux ultérieurs ont inclus fastText, qui représentait les mots en partie à travers des n-grammes de caractères.
Polysémie et homonymie
Une limitation clé des plongements lexicaux statiques est que les mots ayant plusieurs sens sont confondus en un seul vecteur, ne parvenant pas à gérer la polysémie et l'homonymie. Par exemple, « club » pourrait désigner un sandwich, une salle de club ou un club de golf. Les plongements multi-sens abordent cela en assignant différents vecteurs à différents sens. Les approches incluent le Skip-Gram Multi-Sens (MSSG), qui effectue simultanément la discrimination des sens de mots et le plongement, et le Skip-Gram Multi-Sens Non-Paramétrique (NP-MSSG), qui permet un nombre variable de sens par mot. L'annotation de sens la plus appropriée (MSSA) combine des bases de données lexicales comme WordNet avec la désambiguïsation de sens de mots de manière auto-améliorante.
Les plongements multi-sens améliorent les performances dans des tâches telles que l'étiquetage morpho-syntaxique, l'identification de relations sémantiques et l'analyse des sentiments. À partir de la fin des années 2010, des plongements contextuellement significatifs comme ELMo et BERT fournissent des représentations au niveau des jetons, où chaque occurrence d'un mot a son propre plongement, reflétant mieux la nature multi-sens.
Séquences biologiques
Les plongements lexicaux ont été étendus aux séquences biologiques, telles que l'ADN, l'ARN et les protéines, pour des applications en bioinformatique. Asgari et ses collègues ont proposé BioVectors, qui appliquent des techniques de plongement aux n-grammes dans les séquences biologiques, permettant l'analyse de similarités fonctionnelles et structurelles.
Applications et impact
Les plongements lexicaux sont largement utilisés dans les modèles de Machine learning et de Deep learning, servant de représentations d'entrée pour des tâches telles que la classification de textes, la traduction automatique et la réponse aux questions. Ils sont intégrés aux Large language models et aux architectures Transformer (architecture), qui s'appuient sur des plongements au niveau des jetons. La technique a influencé la recherche dans des institutions comme université de Toronto et laboratoire d'IA de Stanford, et est implémentée dans des outils de sociétés telles que Google DeepMind et OpenAI.
Orientations futures
La recherche se poursuit sur l'amélioration des plongements pour les mots rares, l'alignement cross-lingue et les applications spécifiques à un domaine. Le passage aux plongements contextuels a largement supplanté les plongements statiques dans de nombreuses applications, mais les plongements statiques restent utiles pour l'efficacité et l'interprétabilité.