## BERT Open-Source-Veröffentlichung

BERT (Bidirectional Encoder Representations from Transformers) ist ein Sprachmodell, das im Oktober 2018 von Forschern bei Google eingeführt wurde. Es lernt, Text als eine Sequenz von Vektoren darzustellen, indem es selbstüberwachtes Lernen verwendet und eine Encoder-only-Transformer-Architektur einsetzt. BERT verbesserte den Stand der Technik für große Sprachmodelle erheblich und bleibt, Stand 2026, eine gängige methodische Komponente in der Forschung zur natürlichen Sprachverarbeitung (NLP).

BERT wird mit maskierter Token-Vorhersage und Satzvorhersage trainiert, wodurch es lernen kann, kontextuelle, latente Repräsentationen von Token in ihrem Kontext zu erfassen, ähnlich wie ELMo und GPT-2. Es fand Anwendungen in vielen NLP-Aufgaben, wie Koreferenzauflösung und Polysemieauflösung. BERT verbesserte ELMo und brachte die Studie der "BERTologie" hervor, die versucht zu interpretieren, was von BERT gelernt wird.

Architektur

BERT ist eine "Encoder-only"-Transformer-Architektur. Auf hoher Ebene besteht BERT aus vier Modulen: einem Tokenizer, einem Einbettungsmodul, einem Encoder-Stapel und einem Aufgabenkopf. Der Tokenizer konvertiert englischen Text in eine Sequenz von Ganzzahlen (Token. Das Einbettungsmodul konvertiert Token in reellwertige Vektoren. Der Encoder-Stapel besteht aus Transformer-Blöcken mit Selbstaufmerksamkeit, aber ohne kausale Maskierung. Der Aufgabenkopf konvertiert finale Repräsentationsvektoren in eine Wahrscheinlichkeitsverteilung über Tokentypen, wobei er als eine Ent-Einbettungsschicht fungiert.

Der Aufgabenkopf ist für das Vortraining notwendig, aber oft unnötig für nachgelagerte Aufgaben wie Fragebeantwortung oder Stimmungsanalyse. Für solche Aufgaben wird der Aufgabenkopf entfernt und durch ein neu initialisiertes Modul ersetzt, das zur Aufgabe passt, gefolgt von Feinabstimmung. Die latente Vektorrepräsentation wird direkt in dieses neue Modul eingespeist, was eine sample-effiziente Transferlernen ermöglicht.

Einbettung

Der Tokenizer von BERT ist WordPiece, eine Subwort-Strategie, ähnlich der Byte-Paar-Kodierung. Seine Vokabulargröße beträgt 30.000, und jedes Token, das nicht im Vokabular erscheint, wird durch [UNK] ersetzt. Die Einbettungsschicht enthält drei Komponenten: Tokentyp-Einbettungen, Positionseinbettungen und Segmenttyp-Einbettungen. Tokentyp-Einbettungen übersetzen einen One-Hot-Vektor in einen dichten Vektor basierend auf dem Tokentyp. Positionseinbettungen verwenden absolute Positionen, wobei jede Dimension aus einer sinusförmigen Funktion der Position besteht. Segmenttyp-Einbettungen verwenden ein Vokabular von 0 oder 1, das angibt, ob ein Token zum ersten oder zweiten Textsegment gehört (Token nach dem [SEP]-Sondertoken sind Typ-1). Die drei Einbettungsvektoren werden addiert, dann mit LayerNorm normalisiert, wodurch ein 768-dimensionaler Vektor für jedes Token ausgegeben wird. Diese Vektoren durchlaufen 12 Transformer-Encoder-Blöcke und werden über eine affine Transformation zurück in den 30.000-dimensionalen Vokabularraum dekodiert.

Architekturfamilie

Der Encoder-Stapel hat zwei freie Parameter: L (Anzahl der Schichten) und H (verborgene Größe. Es gibt immer H/64 Selbstaufmerksamkeitsköpfe, und die Feed-Forward-/Filtergröße ist immer 4H. Die Variation dieser Parameter ergibt eine Familie von BERT-Modellen. Die Notation ist L/H: BERTBASE ist 12L/768H, BERTLARGE ist 24L/1024H, und BERTTINY ist 2L/128H.

Training

Vortraining

BERT wurde gleichzeitig auf zwei Aufgaben vortrainiert: maskierte Sprachmodellierung(MLM) und nächste-Satz-Vorhersage(NSP. Bei MLM nimmt BERT eine Sequenz von Wörtern auf, wobei ein Wort zufällig maskiert sein kann, und es sagt das ursprüngliche Wort voraus. Dies hilft BERT, bidirektionalen Kontext zu lernen, indem es Beziehungen zwischen Wörtern aus beiden Richtungen gleichzeitig versteht. Bei NSP wird BERT trainiert, vorherzusagen, ob ein Satz logisch einem anderen folgt, was für Aufgaben wie Fragebeantwortung oder Dokumentklassifikation wichtig ist.

#### Maskierte Sprachmodellierung

Bei der maskierten Sprachmodellierung werden 15% der Token zufällig für die maskierte Vorhersageaufgabe ausgewählt. Das ausgewählte Token wird mit einer Wahrscheinlichkeit von 80% durch ein [MASK]-Token ersetzt, mit einer Wahrscheinlichkeit von 10% durch ein zufälliges Wort-Token ersetzt, und mit einer Wahrscheinlichkeit von 10% unverändert gelassen. Diese Strategie vermeidet das Datensatzverschiebungsproblem, bei dem die Verteilung der Eingaben während des Trainings von der während der Inferenz abweicht.

Veröffentlichung und Auswirkungen

BERT wurde ursprünglich in Englisch in zwei Modellgrößen implementiert: BERTBASE (110 Millionen Parameter)und BERTLARGE(340 Millionen Parameter. Beide wurden auf dem Toronto BookCorpus(800 Millionen Wörter)und der englischen Wikipedia(2.500 Millionen Wörter)trainiert. Die Gewichte wurden auf GitHub veröffentlicht, was das Modell weitgehend zugänglich machte. Am 11. März ​​2020 wurden 24 kleinere Modelle veröffentlicht, wobei das kleinste BERTTINY mit nur 4 Millionen Parametern war.

BERTs Veröffentlichung hatte einen tiefgreifenden Einfluss auf das Feld der natürlichen Sprachverarbeitung. Es setzte neue Benchmarks für eine breite Palette von Aufgaben, einschließlich Fragebeantwortung, Stimmungsanalyse und Erkennung benannter Entitäten. Sein Erfolg popularisierte das Vortrainings- und Feinabstimmungsparadigma, das nachfolgende Modelle wie GPT-2 und RoBERTa beeinflusste. BERT inspirierte auch Forschung zur Interpretierbarkeit, wobei "BERTologie" als ein Feld entstand, um die internen Repräsentationen zu verstehen, die vom Modell gelernt werden.

Anwendungen und Vermächtnis

BERTs kontextuelle Einbettungen wurden auf zahlreiche Aufgaben angewendet, einschließlich Koreferenzauflösung, Polysemieauflösungund maschineller Übersetzung. Seine Architektur wurde für verschiedene Sprachen und Domänen angepasst, und es bleibt eine Baseline für viele NLP-Systeme. Stand 2026 ist BERT weiterhin ein grundlegendes Werkzeug in der NLP-Forschung und in industriellen Anwendungen, trotz des Aufkommens größerer Modelle wie GPT-3und T5. Sein Einfluss zeigt sich in der weit verbreiteten Übernahme transformerbasierter Modelle und der Entwicklung großer Sprachmodelle.

BERTs Veröffentlichung förderte auch Fortschritte bei effizienten Modellvarianten, wie DistilBERTund ALBERT, die darauf abzielen, Rechenkosten zu reduzieren, während die Leistung erhalten bleibt. Die Designprinzipien des Modells, einschließlich maskierter Sprachmodellierungund nächster-Satz-Vorhersage, wurden in viele nachfolgende Architekturen integriert, was BERTs Vermächtnis als Eckpfeiler der modernen NLP festigt.