BERT (Bidirectional Encoder Representations from Transformers) ist ein Sprachmodell, das im Oktober 2018 von Forschern bei Google vorgestellt wurde. Es lernt, Text als eine Sequenz von Vektoren darzustellen, indem es selbstüberwachtes Lernen verwendet und eine reine Encoder-Transformer (architecture)-Architektur einsetzt. BERT verbesserte den Stand der Technik für große Sprachmodelle dramatisch und bleibt Stand 2026 ein gängiger methodischer Bestandteil in der Forschung zur Verarbeitung natürlicher Sprache (NLP).
BERT wird durch maskierte Token-Vorhersage und Vorhersage des nächsten Satzes trainiert und lernt kontextuelle, latente Repräsentationen von Token in ihrem Kontext, ähnlich wie frühere Modelle wie ELMo und später GPT-2. Es fand Anwendung für viele NLP-Aufgaben, einschließlich Koreferenzauflösung und Polysemieauflösung. Sein Erfolg gegenüber ELMo brachte die Erforschung der „BERTologie" hervor, die versucht zu interpretieren, was das Modell lernt.
Architektur
BERT ist eine reine Encoder-Transformer-Architektur, die aus vier Hauptmodulen besteht: einem Tokenizer, einer Einbettungsschicht, einem Encoder-Stapel und einem Aufgabenkopf. Der Tokenizer wandelt englischen Text in eine Sequenz von Ganzzahlen (Token) um. Die Einbettungsschicht wandelt diese Token in reellwertige Vektoren um. Der Encoder-Stapel, der aus Transformer-Blöcken mit Selbstaufmerksamkeit, aber ohne kausale Maskierung besteht, verarbeitet diese Vektoren. Der Aufgabenkopf wandelt die finalen Repräsentationsvektoren wieder in eine Wahrscheinlichkeitsverteilung über Tokentypen um und fungiert als Ent-Einbettungsschicht.
Der Aufgabenkopf ist für das Vortraining unerlässlich, aber für nachgelagerte Aufgaben wie Fragebeantwortung oder Sentimentklassifikation oft unnötig. In solchen Fällen wird er entfernt und durch ein neu initialisiertes Modul ersetzt, das für die Aufgabe geeignet ist, und dann feinabgestimmt. Die latenten Vektorrepräsentationen fließen direkt in dieses neue Modul ein und ermöglichen ein sample-effizientes Transferlernen.
Einbettung
BERTs Tokenizer verwendet WordPiece, eine Subwort-Strategie ähnlich der Byte-Pair-Kodierung, mit einer Vokabulargröße von 30.000. Jedes Token, das nicht im Vokabular ist, wird durch [UNK] ersetzt. Die Einbettungsschicht hat drei Komponenten: Token-Typ-Einbettungen, Positions-Einbettungen und Segment-Typ-Einbettungen. Token-Typ-Einbettungen übersetzen One-Hot-Vektoren in dichte Vektoren. Positions-Einbettungen verwenden absolute Positionen, wobei jede Dimension eine sinusförmige Funktion der Position ist. Segment-Typ-Einbettungen verwenden ein Vokabular von 0 oder 1, das angibt, ob ein Token zum ersten oder zweiten Textsegment gehört, getrennt durch das [SEP]-Token.
Diese drei Einbettungsvektoren werden addiert und dann mit LayerNorm normalisiert, wodurch ein 768-dimensionaler Vektor für jedes Token in BERTBASE erzeugt wird. Die Vektoren durchlaufen 12 Transformer-Encoder-Blöcke und werden über eine einfache affine Transformation zurück in den 30.000-dimensionalen Vokabularraum dekodiert.
Architekturfamilie
Der Encoder-Stapel hat zwei freie Parameter: L (Anzahl der Schichten) und H (verborgene Größe). Es gibt immer H/64 Selbstaufmerksamkeitsköpfe, und die Feed-Forward- oder Filtergröße ist immer 4H. Die Variation von L und H ergibt eine Familie von Modellen. Die Notation ist L/H, also ist BERTBASE 12L/768H, BERTLARGE ist 24L/1024H und BERTTINY ist 2L/128H.
Training
BERT wurde gleichzeitig auf zwei Aufgaben vortrainiert: maskierte Sprachmodellierung (MLM) und Vorhersage des nächsten Satzes (NSP). Bei MLM nimmt BERT eine Sequenz von Wörtern auf, bei der ein Wort zufällig maskiert sein kann, und sagt das ursprüngliche Wort voraus. Dies lehrt bidirektionalen Kontext, indem Beziehungen zwischen Wörtern aus beiden Richtungen gleichzeitig verstanden werden. Bei NSP sagt BERT voraus, ob ein Satz logisch auf einen anderen folgt, was bei Aufgaben wie Fragebeantwortung und Dokumentklassifikation hilft.
Maskierte Sprachmodellierung
Bei MLM werden 15% der Token zufällig für die maskierte Vorhersageaufgabe ausgewählt. Das ausgewählte Token wird mit 80% Wahrscheinlichkeit durch ein [MASK]-Token ersetzt, mit 10% Wahrscheinlichkeit durch ein zufälliges Wort-Token oder mit 10% Wahrscheinlichkeit unverändert gelassen. Diese teilweise Maskierung vermeidet Datensatzverschiebung, bei der sich die Verteilung der Eingaben während des Trainings von der bei der Inferenz unterscheidet. Wenn alle ausgewählten Token maskiert würden, könnte das Modell unmaskierte Eingaben während der Inferenz möglicherweise nicht gut verarbeiten.
Modellgrößen und Veröffentlichung
BERT wurde ursprünglich in Englisch in zwei Größen implementiert: BERTBASE mit 110 Millionen Parametern und BERTLARGE mit 340 Millionen Parametern. Beide wurden auf dem Toronto BookCorpus (800 Millionen Wörter) und der englischen Wikipedia (2.500 Millionen Wörter) trainiert. Die Gewichte wurden auf GitHub veröffentlicht. Am 11. März 2020 wurden 24 kleinere Modelle veröffentlicht, das kleinste war BERTTINY mit nur 4 Millionen Parametern. Diese kleineren Modelle ermöglichten breitere Experimente und den Einsatz in ressourcenbeschränkten Umgebungen.
Auswirkungen und Vermächtnis
BERTs Einführung markierte einen bedeutenden Wandel in der NLP, weg von unidirektionalen Modellen hin zum Verständnis von bidirektionalem Kontext. Sein Vortrainings- und Feinabstimmungsparadigma wurde zu einem Standardansatz und beeinflusste nachfolgende Modelle wie GPT-2 und die breitere Entwicklung von großen Sprachmodellen. BERTs Architektur und Trainingsmethoden wurden im gesamten Feld weitgehend übernommen und angepasst, was seinen Platz als grundlegende Technik im modernen maschinellen Lernen und der künstlichen Intelligenz festigt.