In der Verarbeitung natürlicher Sprache ist eine Wort-Einbettung eine Darstellung eines Wortes als reellwertiger Vektor, der dessen Bedeutung kodiert. Die Kernidee besteht darin, dass Wörter, die im Vektorraum näher beieinanderliegen, voraussichtlich eine ähnliche Bedeutung haben, was eine quantitative Analyse semantischer Beziehungen ermöglicht. Wort-Einbettungen werden typischerweise durch Sprachmodellierung und Merkmalslernverfahren gewonnen, indem Wörter oder Phrasen aus einem Vokabular auf Zahlenvektoren abgebildet werden. Es hat sich gezeigt, dass diese Darstellungen die Leistung bei Aufgaben wie syntaktischem Parsing und Stimmungsanalyse verbessern, wenn sie als Eingabemerkmale verwendet werden.
Methoden zur Erzeugung von Wort-Einbettungen umfassen neuronale Netze, Dimensionsreduktion auf Wort-Kooccurrenz-Matrizen, probabilistische Modelle und die explizite Darstellung von Kontexten. Der Ansatz hat sich von frühen semantischen Raummodellen zu modernen Deep-Learning-Techniken entwickelt und ist zu einem Eckpfeiler von Systemen zum Verständnis natürlicher Sprache geworden.
Entwicklung und Geschichte
Die zugrunde liegende Idee, dass „ein Wort durch die Gesellschaft charakterisiert wird, die es hält", wurde in einem Artikel von John Rupert Firth aus dem Jahr 1957 vorgeschlagen und wurzelt in der distributionellen Semantik. Frühe semantische Raummodelle, wie das Vektorraummodell für die Informationsabfrage, stellten Wörter in dünn besetzten, hochdimensionalen Räumen dar. Dimensionsreduktion mittels Singulärwertzerlegung führte Ende der 1980er Jahre zur latenten semantischen Analyse. Im Jahr 2000 führten Yoshua Bengio und Kollegen neuronale probabilistische Sprachmodelle ein, die verteilte Darstellungen für Wörter lernten und die Dimensionalität reduzierten. Eine Studie aus dem Jahr 2002 auf der NeurIPS wandte Kernel-CCA auf zweisprachige Korpora an, ein frühes Beispiel für selbstüberwachtes Lernen für Wort-Einbettungen.
Nach den grundlegenden Arbeiten von Bengio und anderen basierten die meisten neuen Techniken nach etwa 2005 auf neuronalen Netzwerkarchitekturen. Im Jahr 2013 erstellte ein Team bei Google unter der Leitung von Tomas Mikolov word2vec, ein Toolkit, das Vektorraummodelle schneller trainierte als frühere Ansätze und Wort-Einbettungen weithin populär machte. Spätere Arbeiten umfassten fastText, das Wörter teilweise durch Zeichen-n-Gramme darstellte.
Polysemie und Homonymie
Eine zentrale Einschränkung statischer Wort-Einbettungen besteht darin, dass Wörter mit mehreren Bedeutungen in einem einzigen Vektor zusammengefasst werden, wodurch Polysemie und Homonymie nicht behandelt werden. Beispielsweise könnte „club" ein Sandwich, ein Clubhaus oder einen Golfschläger bezeichnen. Mehrdeutigkeits-Einbettungen (Multi-Sense Embeddings) adressieren dies, indem sie verschiedenen Bedeutungen unterschiedliche Vektoren zuweisen. Ansätze umfassen Multi-Sense Skip-Gram (MSSG), das Wortbedeutungsunterscheidung und Einbettung gleichzeitig durchführt, sowie Non-Parametric Multi-Sense Skip-Gram (NP-MSSG), das eine variable Anzahl von Bedeutungen pro Wort ermöglicht. Most Suitable Sense Annotation (MSSA) kombiniert lexikalische Datenbanken wie WordNet mit Wortbedeutungsdisambiguierung auf selbstverbessernde Weise.
Mehrdeutigkeits-Einbettungen verbessern die Leistung bei Aufgaben wie Part-of-Speech-Tagging, semantischer Relationsidentifikation und Stimmungsanalyse. Seit den späten 2010er Jahren bieten kontextbezogene Einbettungen wie ELMo und BERT Token-Ebenen-Darstellungen, bei denen jedes Vorkommen eines Wortes eine eigene Einbettung hat, was die Mehrdeutigkeitsnatur besser widerspiegelt.
Biologische Sequenzen
Wort-Einbettungen wurden auf biologische Sequenzen wie DNA, RNA und Proteine für bioinformatische Anwendungen ausgeweitet. Asgari und Kollegen schlugen BioVectors vor, die Einbettungstechniken auf n-Gramme in biologischen Sequenzen anwenden und so die Analyse funktionaler und struktureller Ähnlichkeiten ermöglichen.
Anwendungen und Auswirkungen
Wort-Einbettungen werden häufig in Maschinellem Lernen- und Deep-Learning-Modellen verwendet und dienen als Eingabedarstellungen für Aufgaben wie Textklassifikation, maschinelle Übersetzung und Fragenbeantwortung. Sie sind integraler Bestandteil von Großen Sprachmodellen und Transformer-Architekturen, die auf Token-Ebenen-Einbettungen aufbauen. Die Technik hat Forschung an Institutionen wie der Universität Toronto und dem Stanford AI Lab beeinflusst und wird in Werkzeugen von Unternehmen wie Google DeepMind und OpenAI umgesetzt.
Zukünftige Richtungen
Die Forschung konzentriert sich weiterhin auf die Verbesserung von Einbettungen für seltene Wörter, cross-linguale Ausrichtung und domänenspezifische Anwendungen. Die Verschiebung hin zu kontextuellen Einbettungen hat statische Einbettungen in vielen Anwendungen weitgehend abgelöst, aber statische Einbettungen bleiben für Effizienz und Interpretierbarkeit nützlich.