ELMo

ELMo (Einbettungen aus Sprachmodellen) ist eine Methode zur Wortereinbettung, die eine Sequenz von Wörtern als eine entsprechende Sequenz von Vektoren darstellt. Sie wurde von Forschern des Allen Institute for Artificial Intelligence und der University of Washington entwickelt und erstmals im Februar 2018 veröffentlicht. ELMo ist ein bidirektionales LSTM, das zeichenbasierte Eingaben verarbeitet und wortebene Einbettungen erzeugt, trainiert auf einem Korpus von etwa 30 Millionen Sätzen und 1 Milliarde Wörtern.

Die Architektur von ELMo erreicht ein kontextuelles Verständnis von Token. Tiefe kontextualisierte Worterepräsentationen sind für viele Aufgaben der natürlichen Sprachverarbeitung nützlich, wie etwa Koreferenzauflösung und Polysemieauflösung. ELMo war historisch bedeutsam als Pionier des selbstüberwachten generativen Vortrainings, gefolgt von Feintuning, bei dem ein großes Modell darauf trainiert wird, einen großen Korpus zu reproduzieren, und dann mit zusätzlichen aufgabenspezifischen Gewichten und Feintuning auf überwachten Aufgabendaten ergänzt wird. Es war ein entscheidender Schritt in der Entwicklung hin zur Transformer-basierten Sprachmodellierung.

Architektur

ELMo ist ein mehrschichtiges bidirektionales LSTM auf einer Token-Einbettungsschicht. Die Ausgaben aller LSTMs werden konkateniert und bestehen aus der Token-Einbettung. Die Eingabesequenz wird zunächst durch eine Einbettungsschicht in eine Sequenz von Vektoren abgebildet. Dann laufen zwei Teile parallel darüber. Der Vorwärtsteil ist ein zweischichtiges LSTM mit 4096 Einheiten und 512-dimensionalen Projektionen, mit einer Residuenverbindung von der ersten zur zweiten Schicht. Der Rückwärtsteil hat dieselbe Architektur, verarbeitet die Sequenz jedoch in umgekehrter Reihenfolge. Die Ausgaben aller fünf Komponenten (Einbettungsschicht, zwei Vorwärts-LSTM-Schichten und zwei Rückwärts-LSTM-Schichten) werden konkateniert und mit einer linearen Matrix (einer Projektionsmatrix) multipliziert, um eine 512-dimensionale Repräsentation pro Eingabe-Token zu erzeugen.

ELMo wurde auf einem Textkorpus von 1 Milliarde Wörtern vortrainiert. Der Vorwärtsteil wird trainiert, indem wiederholt das nächste Token vorhergesagt wird, und der Rückwärtsteil, indem wiederholt das vorherige Token vorhergesagt wird. Nach dem Vortraining werden die ELMo-Parameter eingefroren, mit Ausnahme der Projektionsmatrix, die feinabgestimmt werden kann, um den Verlust bei bestimmten Sprachaufgaben zu minimieren. Dies ist ein frühes Beispiel für das Vortraining-Feintuning-Paradigma. Das ursprüngliche Papier zeigte, wie dies den Stand der Technik bei sechs NLP-Benchmark-Aufgaben verbesserte.

Kontextuelle Worterepräsentation

Die Architektur von ELMo erreicht ein kontextuelles Verständnis von Token. Beispielsweise verarbeitet das erste Vorwärts-LSTM jedes Eingabe-Token im Kontext aller vorherigen Token, und das erste Rückwärts-LSTM verarbeitet jedes Token im Kontext aller nachfolgenden Token. Das zweite Vorwärts-LSTM kontextualisiert diese dann weiter, um tiefe kontextualisierte Wortereinbettungen zu erzeugen.

Tiefe kontextualisierte Wortereinbettungen sind für viele Aufgaben der natürlichen Sprachverarbeitung nützlich, wie etwa Koreferenzauflösung und Polysemieauflösung. Betrachten wir zum Beispiel den Satz „Sie ging zur Bank, um Geld abzuheben.“ Um das Token „Bank“ darzustellen, muss das Modell seine Polysemie im Kontext auflösen. Das erste Vorwärts-LSTM verarbeitet „Bank“ im Kontext von „Sie ging zur“, was es ihm ermöglicht, das Wort als ein Gebäude darzustellen, zu dem das Subjekt geht. Das erste Rückwärts-LSTM verarbeitet „Bank“ im Kontext von „um Geld abzuheben“, was es ihm ermöglicht, das Wort als Finanzinstitut darzustellen. Das zweite Vorwärts-LSTM kann dann „Bank“ unter Verwendung der vom ersten Rückwärts-LSTM bereitgestellten Repräsentation verarbeiten, wodurch es als Finanzinstitut dargestellt werden kann, da das Subjekt dorthin geht, um Geld abzuheben.

Historischer Kontext

ELMo ist ein Glied in einer historischen Entwicklung der Sprachmodellierung. Betrachten wir ein einfaches Problem der Dokumentklassifikation, bei dem wir einem gegebenen Textstück ein Label zuweisen möchten (z. B. „Spam“, „Kein Spam“, „Politik“, „Sport“). Der einfachste Ansatz ist der „Bag-of-Words“-Ansatz, bei dem jedes Wort im Dokument unabhängig behandelt wird und seine Häufigkeit als Merkmal für die Klassifikation verwendet wird. Dies war recheneffizient, ignorierte jedoch die Reihenfolge der Wörter und ihren Kontext im Satz. GloVe und Word2Vec bauten darauf auf, indem sie feste Vektorrepräsentationen (Einbettungen) für Wörter lernten, basierend auf ihren Kookkurrenzmustern in großen Textkorpora.

Wie BERT (aber anders als „Bag-of-Words“-Methoden wie Word2Vec und GloVe) sind ELMo-Worteinbettungen kontextsensitiv und erzeugen unterschiedliche Repräsentationen für Wörter, die gleich geschrieben werden, aber unterschiedliche Bedeutungen haben. Es wurde auf einem Korpus von etwa 30 Millionen Sätzen und 1 Milliarde Wörtern trainiert. Zuvor wurden bidirektionale LSTMs für kontextualisierte Wortereinbettungen verwendet, aber ELMo wandte diese Idee in großem Maßstab an und erzielte modernste Leistungen.

Nach der Veröffentlichung im Jahr 2017 wurde die Architektur des Transformers von einem mehrschichtigen bidirektionalen LSTM zu einem Transformer-Encoder weiterentwickelt, was zu BERT führte. BERT hat einen ähnlichen Vortrainings-Feintuning-Workflow, verwendet jedoch einen Transformer mit mehr Parallelisierbarkeit. Der Einfluss von ELMo erstreckte sich auch auf andere Entwicklungen großer Sprachmodelle, da es die Leistungsfähigkeit des Vortrainings auf großen Korpora und anschließendem aufgabenspezifischem Feintuning demonstrierte, ein Paradigma, das für spätere Modelle wie solche von OpenAI und Google DeepMind zentral wurde.

Auswirkungen und Vermächtnis

Die Veröffentlichung von ELMo im Februar 2018 markierte einen Wendepunkt in der natürlichen Sprachverarbeitung. Durch die Bereitstellung kontextualisierter Einbettungen verbesserte es die Leistung bei Aufgaben wie Frage-Antwort-Systemen, Stimmungsanalyse und Erkennung benannter Entitäten erheblich. Sein Erfolg förderte weitere Forschung zu Deep-Learning-Ansätzen für Sprache und führte zu raschen Fortschritten in Anwendungen der künstlichen Intelligenz. ELMo wird oft zusammen mit BERT als grundlegendes Modell in der modernen Ära des maschinellen Lernens für Text genannt.

Die Methode unterstrich auch die Bedeutung von neuronalen Netzwerkarchitekturen, die langreichweitige Abhängigkeiten erfassen können, ein Konzept, das später in Transformer-basierten Modellen verfeinert wurde. ELMos zeichenbasierte Eingabeverarbeitung machte es robust gegenüber Wörtern außerhalb des Wortschatzes, eine Eigenschaft, die nachfolgende Einbettungstechniken beeinflusste. Obwohl ELMo selbst nicht mehr weit verbreitet in der Produktion eingesetzt wird, bleiben seine Prinzipien in vielen zeitgenössischen NLP-Systemen verankert.

Referenzen

• Peters, M. E., et al. (2018). Deep contextualized word representations. Proceedings of NAACL-HLT.
• Allen Institute for Artificial Intelligence. (2018). ELMo: Deep contextualized word representations. Offizielle Versionshinweise.