Word2vec ist eine Gruppe verwandter neuronaler Netzmodelle, die 2013 von Forschern bei Google eingeführt wurden und dichte Vektorrepräsentationen von Wörtern aus großen unbeschrifteten Textkorpora lernen, wobei Aspekte der Wortbedeutung und -verwendung durch Vektorarithmetik statt durch handgefertigte linguistische Regeln erfasst werden. Es gehörte zu den ersten breit eingesetzten Embedding-Techniken, die zeigten, dass semantische Beziehungen zwischen Wörtern direkt aus Wortko-okkurrenzmustern in Texten gewonnen werden konnten.
Method
Word2vec wurde über zwei verwandte Architekturen eingeführt, die von Tomas Mikolov und Kollegen bei Google beschrieben wurden, darunter Jeff Dean und Ilya Sutskever, in 2013 veröffentlichten Papieren: Continuous Bag-of-Words (CBOW), das ein Zielwort aus seinen umgebenden Kontextwörtern vorhersagt, und Skip-gram, das umgebende Kontextwörter zu einem gegebenen Zielwort vorhersagt. Beide sind flache Zweischichten-Neuronale-Netzwerk-Modelle, die mittels selbstüberwachtem Lernen trainiert werden, da das Trainingssignal automatisch aus Rohtext ohne menschlich annotierte Daten abgeleitet wird, indem nahegelegene Wörter als implizites Aufsichtssignal dienen. Die resultierende Gewichtsmatrix aus der verborgenen Schicht dient als gelernte Wortvektoren, typischerweise mit einigen hundert Dimensionen.
Das "König minus Mann plus Frau"-Beispiel
Die am häufigsten zitierte Demonstration von Word2vec ist seine Fähigkeit zur Vektorarithmetik, die semantische und syntaktische Beziehungen widerspiegelt: Durch Subtraktion des Vektors für "Mann" von "König" und Addition des Vektors für "Frau" erhält man einen Vektor, der im gelernten Einbettungsraum am nächsten zu "Königin" liegt. Ähnliche analoge Strukturen traten für Beziehungen wie Länder-Hauptstadt-Paare und Verbtempsitives auf, was darauf hindeutete, dass die Geometrie des Einbettungsraums bedeutungsvolle, systematische Beziehungen kodiert, statt willkürlicher Clusterung, ein Ergebnis, das erhebliche Begeisterung in der Natural-Language-Processing-Forschungsgemeinschaft auslöste.
Der Einfluss von Word2vec auf die NLP
Word2vec, zusammen mit zeitgleichen Methoden wie GloVe, machte vortrainierte Worteinbettungen zu einer Standard-Eingabeschicht für nachgelagerte NLP-Modelle und ersetzte spärliche One-Hot-Wortrepräsentationen in Aufgaben wie Maschinenübersetzung, die kritische Ergebnisstellen, Stimmungsanalyse und Entitätsnerkennung. Seine Effizienz, das Training auf Milliarden von Wörtern in Stunden auf damaliger Standardhardware, machte verteilte Wortrepräsentationen in einem Maßstab praktisch, der mit früheren neuronalen Sprachmodellen nicht möglich gewesen war.
Nachfolger
Die kontextunabhängigen Repräsentationen von Word2vec, die jedem Wort einen einzigen festen Vektor unabhängig vom umgebenden Kontext zuweisen, wurden durch kontextuelle Einbettungsmodelle abgelöst. Das 2018 veröffentlichte BERT-Modell und die breitere Familie von Modellen, die auf der Transformer-Architektur basieren, erzeugen für dasselbe Wort unterschiedliche Vektoren je nach Satzkontext und adressieren damit Word2vecs Unfähigkeit, zum Beispiel "Bank" als Flussufer von "Bank" als FinanzInstitut zu unterscheiden. Trotz der Überholtheit für die meisten State-of-the-Art-Anwendungen bleibt Word2vec weit verbreitet als leichtgewichtige Einbettungsbasislinie und als pädagogischer Einstiegspunkt in das weitere Konzept gelernt Vektorrepräsentationen, das semantische Suche und vektorielle Informationsmanagementsystems-Systeme Durchführung stützt, die heute grundlegend dafür sind.