Maskiertes Sprachmodellieren

Masked Language Modeling (MLM) ist ein selbstüberwachtes Lernziel in der Verarbeitung natürlicher Sprache, bei dem ein Modell trainiert wird, zufällig maskierte Token in einer Sequenz basierend auf dem umgebenden Kontext vorherzusagen. Im Gegensatz zu traditionellen Sprachmodellen, die das nächste Token in einer links-nach-rechts-Reihenfolge vorhersagen, ermöglicht MLM dem Modell, sowohl den linken als auch den rechten Kontext zu nutzen, was ein tieferes bidirektionales Verständnis der Sprache ermöglicht. Dieser Ansatz wurde durch das auf Transformer basierende Modell BERT (Bidirectional Encoder Representations from Transformers) populär gemacht, das 2018 von Google eingeführt wurde, und ist seitdem zu einem Eckpfeiler vieler großer Sprachmodelle und Deep-Learning-Systeme geworden.

Die Kernidee von MLM besteht darin, einen Teil des Eingabetextes zu korrumpieren, indem einige Token durch ein spezielles [MASK]-Token ersetzt werden, und dann das Modell zu trainieren, die ursprünglichen Token zu rekonstruieren. Dies zwingt das Modell, kontextuelle Repräsentationen zu lernen, die syntaktische und semantische Beziehungen erfassen. MLM ist eine Form des Trainings künstlicher Intelligenz, die keine menschlich annotierten Daten erfordert, was es hochskalierbar für das Vortraining auf riesigen Textkorpora macht.

Historischer Hintergrund

Das Konzept der Vorhersage fehlender Wörter in Texten hat Wurzeln in früheren statistischen und neuronalen Modellen, aber die moderne Formulierung von MLM entstand mit dem Aufkommen des Deep Learning. 2018 führten Jacob Devlin und Kollegen bei Google AI BERT ein, das MLM als primäres Vortrainingsziel verwendete. Der Erfolg von BERT zeigte, dass bidirektionales Vortraining die Leistung bei einer Vielzahl von Aufgaben der Verarbeitung natürlicher Sprache erheblich verbessern konnte, einschließlich Fragebeantwortung und Stimmungsanalyse.

Vor BERT verwendeten Modelle wie ELMo bidirektionale LSTMs, konditionierten jedoch nicht tiefgreifend auf beide Richtungen. Die Transformer-Architektur, die 2017 von Vaswani et al. eingeführt wurde, bildete die Grundlage für BERTs bidirektionalen Aufmerksamkeitsmechanismus. MLM wurde zu einer Schlüsselinnovation, die BERT von früheren unidirektionalen Modellen wie GPT unterschied.

Wie Masked Language Modeling funktioniert

In einem typischen MLM-Setup wird eine Trainingssequenz wie folgt verarbeitet:

1. Tokenisierung: Der Eingabetext wird mit einem Tokenizer (z. B. WordPiece) in Token aufgeteilt.
2. Maskierung: Eine zufällige Teilmenge von Token (typischerweise 15%) wird ausgewählt. Für jedes ausgewählte Token gibt es eine 80%ige Chance, es durch [MASK] zu ersetzen, eine 10%ige Chance, es durch ein zufälliges Token zu ersetzen, und eine 10%ige Chance, es unverändert zu lassen.
3. Vorhersage: Das Modell verarbeitet die maskierte Sequenz und gibt eine Wahrscheinlichkeitsverteilung über das Vokabular für jede maskierte Position aus.
4. Verlust: Der Verlust wird als Kreuzentropie zwischen der vorhergesagten Verteilung und dem wahren Token berechnet, und Gradienten werden zurückpropagiert, um die Modellgewichte zu aktualisieren.

Diese Maskierungsstrategie, bekannt als "maskiertes LM mit zufälliger Ersetzung", wurde in BERT eingeführt, um die Diskrepanz zwischen Vortraining (wo [MASK] erscheint) und Feinabstimmung (wo [MASK] fehlt) zu mildern.

Vorteile und Einschränkungen

MLM bietet mehrere Vorteile:

• Bidirektionaler Kontext: Modelle können Informationen von beiden Seiten eines Tokens nutzen, was zu reichhaltigeren Repräsentationen führt.
• Skalierbarkeit: Vortraining kann auf unbeschriftetem Text erfolgen, sodass Modelle aus massiven Korpora lernen können.
• Transferlernen: Die Feinabstimmung eines vortrainierten MLM-Modells auf nachgelagerte Aufgaben führt oft mit begrenzten beschrifteten Daten zu Spitzenergebnissen.

MLM hat jedoch auch Einschränkungen:

• Rechenkosten: Das Training erfordert erhebliche Rechenressourcen, oft unter Verwendung spezialisierter Hardware wie AWS Trainium oder Cerebras-Systemen.
• Maskierungsineffizienz: Nur ein kleiner Bruchteil der Token wird pro Trainingsschritt für die Vorhersage verwendet, was das Training weniger sample-effizient macht als autoregressive Methoden.
• Vortrainings-Feinabstimmungs-Diskrepanz: Das [MASK]-Token ist während der Feinabstimmung nicht vorhanden, was zu einer Verteilungsverschiebung führen kann.

Varianten und Verbesserungen

Es wurden mehrere Varianten von MLM vorgeschlagen, um seine Einschränkungen zu adressieren:

• RoBERTa: Entwickelt von Facebook AI (jetzt Meta AI), entfernt RoBERTa das Ziel der nächsten Satzvorhersage und verwendet dynamische Maskierung, bei der sich das Maskierungsmuster jede Epoche ändert. Es trainiert auch mit größeren Batches und mehr Daten.
• ALBERT: Führt Parameterteilung und Satzreihenfolge-Vorhersage ein, um den Speicherverbrauch zu reduzieren, während die Leistung erhalten bleibt.
• ELECTRA: Verwendet eine Aufgabe zur Erkennung ersetzter Token, bei der das Modell lernt, echte Token von generatorerzeugten Ersetzungen zu unterscheiden, was das Training effizienter macht.
• Span-basierte Maskierung: Modelle wie SpanBERT maskieren zusammenhängende Token-Spannen anstelle einzelner Token, was die Leistung bei spanbezogenen Aufgaben verbessert.

Diese Varianten wurden in verschiedenen großen Sprachmodellen übernommen und haben das Design neuerer Architekturen beeinflusst.

Anwendungen in der modernen KI

MLM wird nicht nur für das Vortraining allgemeiner Sprachmodelle verwendet, sondern auch in domänenspezifischen Modellen. Zum Beispiel wendet BioBERT MLM auf biomedizinische Texte an, und ClinicalBERT wird auf klinischen Notizen trainiert. Darüber hinaus wurde MLM auf andere Modalitäten wie Bild und Audio erweitert, durch maskierte Autoencoder (z. B. MAE für Bilder).

Im Kontext von generativer KI wird MLM oft als Komponente in hybriden Modellen verwendet, die bidirektionale und autoregressive Ziele kombinieren, wie T5 und BART, die ein Denoising-Ziel ähnlich wie MLM, aber mit einer Sequenz-zu-Sequenz-Architektur verwenden.

Beziehung zu anderen Vortrainingszielen

MLM ist eines von mehreren Vortrainingszielen im Bereich des maschinellen Lernens. Andere umfassen:

• Autoregressive Modellierung: Sagt das nächste Token basierend auf vorherigen Token voraus (z. B. GPT). Dies ist unidirektional und die Grundlage für viele große Sprachmodelle wie die von OpenAI.
• Sequenz-zu-Sequenz-Denoising: Modelle wie T5 und BART korrumpieren den Eingang und trainieren das Modell, die ursprüngliche Sequenz zu rekonstruieren, was als verallgemeinerte Form von MLM angesehen werden kann.
• Kontrastives Lernen: Wird in Modellen wie SimCSE verwendet, um Satzeinbettungen zu lernen, indem ähnliche Sätze zusammengezogen und unähnliche auseinandergedrückt werden.

MLMs bidirektionale Natur macht es besonders geeignet für Aufgaben, die ein Verständnis des vollständigen Kontexts erfordern, wie Named-Entity-Erkennung und Relationsextraktion.

Auswirkungen auf das Feld

Die Einführung von MLM mit BERT markierte einen Paradigmenwechsel in der Verarbeitung natürlicher Sprache. Es zeigte, dass Vortraining auf großen Korpora mit einem einfachen Ziel Repräsentationen erzeugen kann, die gut auf eine Vielzahl von Aufgaben übertragbar sind. Dies führte zur Entwicklung zahlreicher BERT-ähnlicher Modelle wie DistilBERT, TinyBERT und MobileBERT, die darauf abzielen, die Modellgröße zu reduzieren, während die Leistung erhalten bleibt.

MLM hat auch das Design von Transformer-basierten Modellen in anderen Bereichen beeinflusst, wie Computer Vision (z. B. BEiT, MAE) und Sprachverarbeitung (z. B. wav2vec 2.0). Das Konzept der Maskierung und Rekonstruktion ist zu einem allgemeinen Prinzip im selbstüberwachten Lernen geworden.

Zukünftige Richtungen

Stand 2025 wird weiterhin Forschung zu effizienteren und effektiveren Vortrainingszielen betrieben. Einige Richtungen umfassen:

• Vereinheitlichte Modelle: Kombination von MLM mit autoregressiven Zielen in einem einzigen Modell, wie in Modellen wie UniLM und XLNet (das Permutationssprachmodellierung verwendet).
• Effiziente Aufmerksamkeit: Reduzierung der Rechenkosten bidirektionaler Aufmerksamkeit, was MLM auf längeren Sequenzen ermöglicht.
• Multimodales MLM: Erweiterung von MLM zur gemeinsamen Modellierung von Text, Bildern und Audio, wie in Modellen wie CLIP und Flamingo.

Unternehmen wie Google DeepMind, OpenAI und Anthropic investieren weiterhin in Vortrainingsforschung, und MLM bleibt eine grundlegende Technik in ihren Werkzeugkästen.

Fazit

Masked Language Modeling ist zu einer grundlegenden Technik in der modernen KI geworden, die es Modellen ermöglicht, reichhaltige, bidirektionale Repräsentationen aus unbeschriftetem Text zu lernen. Seine Einführung mit BERT im Jahr 2018 revolutionierte das Feld der Verarbeitung natürlicher Sprache und wurde seitdem an verschiedene Modalitäten und Architekturen angepasst. Obwohl neuere Ziele und Modelle entstanden sind, beeinflussen MLMs Prinzipien der Maskierung und Rekonstruktion weiterhin das Design modernster Systeme. Mit dem Fortschritt des Feldes wird MLM wahrscheinlich eine Schlüsselkomponente bei der Entwicklung leistungsfähigerer und effizienterer KI-Modelle bleiben.