Word2vec est un ensemble de modèles de réseaux de neurones apparentés, introduits par des chercheurs de Google en 2013, qui apprennent des représentations vectorielles denses de mots à partir de grands corpus de texte non étiquetés, capturant des aspects du sens et de l'usage des mots par le biais de l'arithmétique vectorielle plutôt que de règles linguistiques artisanales. Il a été parmi les premières techniques d'incorporation largement adoptées à démontrer que les relations sémantiques entre les mots pouvaient être directement extraites des schémas de co-occurrence des mots dans le texte.
Méthode
Word2vec a été introduit à travers deux architectures apparentées décrites par Tomas Mikolov et ses collègues chez Google, notamment Jeff Dean et Ilya Sutskever, dans des articles publiés en 2013 : le sac de mots continu (CBOW), qui prédit un mot cible à partir de ses mots de contexte environnants, et le skip-gram, qui prédit les mots de contexte environnants à partir d'un mot cible. Tous deux sont des modèles de réseau de neurones superficiels à deux couches, entraînés via apprentissage auto-supervisé, car le signal d'entraînement est dérivé automatiquement du texte brut sans données étiquetées par des humains, en utilisant les mots voisins comme signal de supervision implicite. La matrice de poids résultante de la couche cachée sert de vecteurs de mots appris, généralement avec quelques centaines de dimensions.
L'exemple « roi moins homme plus femme »
La démonstration la plus citée de Word2vec est sa capacité à effectuer une arithmétique vectorielle qui reflète des relations sémantiques et syntaxiques : soustraire le vecteur de « homme » de « roi » et ajouter le vecteur de « femme » donne un vecteur le plus proche de « reine » dans l'espace d'incorporation appris. Une structure analogique similaire est apparue pour des relations telles que les paires pays-capitale et les temps verbaux, suggérant que la géométrie de l'espace d'incorporation encodait des relations significatives et systématiques plutôt qu'un regroupement arbitraire, un résultat qui a suscité un enthousiasme considérable dans la communauté de recherche en traitement du langage naturel.
Impact sur le TALN
Word2vec, ainsi que des méthodes contemporaines telles que GloVe, a fait des incorporations de mots pré-entraînées une couche d'entrée standard pour les modèles de TALN en aval, remplaçant les représentations de mots one-hot éparses dans des tâches telles que la traduction automatique, l'analyse des sentiments et la reconnaissance d'entités nommées. Son efficacité, permettant l'entraînement sur des milliards de mots en quelques heures sur du matériel standard de l'époque, a rendu les représentations de mots distribuées pratiques à une échelle qui n'avait pas été réalisable avec les modèles de langage neuronaux antérieurs.
Successeurs
Les représentations indépendantes du contexte de Word2vec, qui attribuent à chaque mot un vecteur fixe unique indépendamment du contexte environnant, ont été supplantées par les modèles d'incorporation contextuels. Le modèle BERT de 2018 et la famille plus large de modèles basés sur l'architecture transformeur génèrent des vecteurs différents pour le même mot selon le contexte de sa phrase, répondant à l'incapacité de Word2vec à distinguer, par exemple, « banque » comme rive d'un fleuve de « banque » comme institution financière. Bien qu'il ait été supplanté pour la plupart des applications de pointe, Word2vec reste largement utilisé comme référence d'incorporation légère et comme point d'entrée pédagogique pour le concept plus large des représentations vectorielles apprises qui sous-tendent désormais les systèmes de recherche sémantique et de base de données vectorielle.