ELMo (embeddings from language model) est une méthode de plongement lexical qui représente une séquence de mots sous forme d'une séquence correspondante de vecteurs. Elle a été créée par des chercheurs de l'Allen Institute for Artificial Intelligence et de l'Université de Washington, et publiée pour la première fois en février 2018. ELMo est un LSTM bidirectionnel qui prend des entrées au niveau des caractères et produit des plongements au niveau des mots, entraîné sur un corpus d'environ 30 millions de phrases et 1 milliard de mots.
L'architecture d'ELMo permet une compréhension contextuelle des jetons. La représentation contextuelle profonde des mots est utile pour de nombreuses tâches de traitement du langage naturel, telles que la résolution de coréférence et la résolution de polysémie. ELMo a été historiquement important en tant que pionnier du pré-entraînement génératif auto-supervisé suivi d'un ajustement fin, où un grand modèle est entraîné à reproduire un grand corpus, puis augmenté de poids supplémentaires spécifiques à la tâche et ajusté finement sur des données supervisées de la tâche. Il a constitué une étape déterminante dans l'évolution vers la modélisation du langage basée sur les transformeurs.
Architecture
ELMo est un LSTM bidirectionnel multicouche placé au-dessus d'une couche de plongement de jetons. La sortie de tous les LSTM concaténés constitue le plongement du jeton. La séquence de texte d'entrée est d'abord mappée par une couche de plongement en une séquence de vecteurs. Ensuite, deux parties sont exécutées en parallèle sur celle-ci. La partie avant est un LSTM à 2 couches avec 4096 unités et des projections de dimension 512, avec une connexion résiduelle de la première à la deuxième couche. La partie arrière a la même architecture, mais traite la séquence de la fin vers le début. Les sorties de toutes les 5 composantes (couche de plongement, deux couches LSTM avant et deux couches LSTM arrière) sont concaténées et multipliées par une matrice linéaire (une matrice de projection) pour produire une représentation de dimension 512 par jeton d'entrée.
ELMo a été pré-entraîné sur un corpus texte de 1 milliard de mots. La partie avant est entraînée en prédisant de manière répétée le jeton suivant, et la partie arrière est entraînée en prédisant de manière répétée le jeton précédent. Après le pré-entraînement, les paramètres d'ELMo sont gelés, à l'exception de la matrice de projection, qui peut être ajustée finement pour minimiser la perte sur des tâches linguistiques spécifiques. C'est un exemple précoce du paradigme pré-entraînement-ajustement fin. L'article original a démontré cela en améliorant l'état de l'art sur six tâches de référence en traitement du langage naturel.
Représentation contextuelle des mots
L'architecture d'ELMo permet une compréhension contextuelle des jetons. Par exemple, le premier LSTM avant traite chaque jeton d'entrée dans le contexte de tous les jetons précédents, et le premier LSTM arrière traite chaque jeton dans le contexte de tous les jetons suivants. Le deuxième LSTM avant intègre ensuite ces éléments pour contextualiser davantage chaque jeton.
La représentation contextuelle profonde des mots est utile pour de nombreuses tâches de traitement du langage naturel, telles que la résolution de coréférence et la résolution de polysémie. Par exemple, considérons la phrase "Elle est allée à la banque pour retirer de l'argent". Pour représenter le jeton "banque", le modèle doit résoudre sa polysémie en contexte. Le premier LSTM avant traite "banque" dans le contexte de "Elle est allée à la", ce qui lui permet de représenter le mot comme un lieu vers lequel le sujet se dirige. Le premier LSTM arrière traite "banque" dans le contexte de "pour retirer de l'argent", ce qui lui permet de désambiguïser le mot comme se référant à une institution financière. Le deuxième LSTM avant peut alors traiter "banque" en utilisant le vecteur de représentation fourni par le premier LSTM arrière, lui permettant ainsi de le représenter comme une institution financière vers laquelle le sujet se dirige.
Contexte historique
ELMo est un maillon dans une évolution historique de la modélisation du langage. Considérons un problème simple de classification de documents, où nous voulons attribuer une étiquette (par exemple, "spam", "non-spam", "politique", "sport") à un texte donné. L'approche la plus simple est l'approche "sac de mots", où chaque mot du document est traité indépendamment, et sa fréquence est utilisée comme caractéristique pour la classification. Cela était peu coûteux en calcul mais ignorait l'ordre des mots et leur contexte dans la phrase. GloVe et Word2Vec ont amélioré cela en apprenant des représentations vectorielles fixes (plongements) pour les mots en fonction de leurs schémas de cooccurrence dans de grands corpus de textes.
Comme BERT (mais contrairement aux méthodes "sac de mots" telles que Word2Vec et GloVe), les plongements de mots d'ELMo sont sensibles au contexte, produisant des représentations différentes pour des mots partageant la même orthographe. Il a été entraîné sur un corpus d'environ 30 millions de phrases et 1 milliard de mots. Auparavant, le LSTM bidirectionnel était utilisé pour la représentation contextuelle des mots, mais ELMo a appliqué cette idée à grande échelle, atteignant des performances de pointe.
Après la publication de 2017 du Transformer (architecture), l'architecture d'ELMo a été modifiée d'un LSTM bidirectionnel multicouche à un encodeur Transformer, donnant naissance à BERT. BERT a un flux de travail de pré-entraînement-ajustement fin similaire, mais utilise un Transformer avec des implications pour un entraînement plus parallélisable. L'influence d'ELMo s'est également étendue à d'autres développements de grands modèles de langage, car il a démontré la puissance du pré-entraînement sur de grands corpus suivi d'un ajustement fin spécifique à la tâche, un paradigme devenu central pour des modèles ultérieurs de OpenAI et Google DeepMind.
Contexte historique
ELMo est un maillon dans une évolution historique de la modélisation du langage. Considérons un problème simple de classification de documents, où nous voulons attribuer une étiquette (par exemple, "spam", "non-spam", "politique", "sport") à un texte donné. L'approche la plus simple est l'approche "sac de mots", où chaque mot du document est traité indépendamment, et sa fréquence est utilisée comme caractéristique pour la classification. Cela était peu coûteux sur le plan computationnel mais ignorait l'ordre des mots et leur contexte dans la phrase. GloVe et Word2Vec ont amélioré cette approche en apprenant des représentations vectorielles fixes (plongements) pour les mots en fonction de leurs schémas de co-occurrence dans de grands corpus de textes.
Comme BERT (mais contrairement aux méthodes "sac de mots" telles que Word2Vec et GloVe), les plongements de mots d'ELMo sont sensibles au contexte, produisant des représentations différentes pour des mots partageant la même orthographe. Il a été entraîné sur un corpus d'environ 30 millions de phrases et 1 milliard de mots. Auparavant, le LSTM bidirectionnel était utilisé pour la représentation contextuelle des mots, mais ELMo a appliqué cette idée à grande échelle, atteignant des performances de pointe.
Après la publication de l'architecture Transformer (architecture) en 2017, l'architecture d'ELMo a été modifiée d'un LSTM bidirectionnel multicouche à un Transformer, donnant naissance à BERT. BERT a un flux de travail similaire de pré-entraînement et d'ajustement fin, mais utilise un Transformer avec des implications pour un entraînement plus parallélisable. L'influence d'ELMo s'est également étendue à d'autres développements de grands modèles de langage, car il a démontré la puissance du pré-entraînement sur de grands corpus suivi d'un ajustement fin spécifique à la tâche, un paradigme devenu central pour des modèles ultérieurs tels que ceux de OpenAI et Google DeepMind.
Impact et héritage
La publication d'ELMo en février 2018 a marqué un changement dans le traitement du langage naturel. En fournissant des plongements contextualisés, il a amélioré les performances sur des tâches comme la réponse à des questions, l'analyse de sentiments et la reconnaissance d'entités nommées. Son succès a stimulé davantage de recherches sur les approches de Deep learning, conduisant à des avancées rapides dans les applications d'Artificial intelligence. ELMo est souvent cité aux côtés de BERT comme un modèle fondateur dans l'ère moderne du Machine learning pour le texte.
La méthode a également mis en évidence l'importance des architectures de Neural network qui capturent les dépendances à longue portée, un concept affiné plus tard dans les modèles basés sur Transformer (architecture). La gestion des entrées au niveau des caractères d'ELMo l'a rendu robuste aux mots hors vocabulaire, une caractéristique qui a influencé les techniques de plongement ultérieures. Bien qu'ELMo lui-même ne soit plus largement utilisé en production, ses principes restent intégrés dans de nombreux systèmes modernes de traitement du langage naturel.
Références
- Peters, M. E., et al. (2018). Deep contextualized word representations. Actes de NAACL-HLT.
- Allen Institute for Artificial Intelligence. (2018). ELMo : Deep contextualized word representations. Notes de version officielles.