BERT (Bidirectional Encoder Representations from Transformers) ist ein Sprachrepräsentationsmodell, das im Oktober 2018 von Google veröffentlicht wurde. Es gehörte zu den ersten einflussreichen Anwendungen der Transformer-Architektur für das Sprachverständnis, und seine Veröffentlichung wird oft als Wendepunkt bezeichnet, der das auf Transformatoren basierende Pretraining zum dominierenden Paradigma in der Verarbeitung natürlicher Sprache machte.
Architektur und Training
BERT verwendet nur die Encoder-Hälfte der Transformer-Architektur, im Gegensatz zu dem auf Decodern basierenden, autoregressiven Design, das später von der GPT-Serie verwendet wurde. Es wird mit zwei selbstüberwachten Zielen trainiert: Maskiertes Sprachmodellieren, bei dem zufällige Wörter in einem Satz ausgeblendet werden und das Modell sie mithilfe des Kontexts aus beiden Richtungen vorhersagen muss, und Satzfolgevorhersage, bei der das Modell lernt, ob ein Satz plausibel auf einen anderen folgt. Dieses bidirektionale Training ermöglichte es BERT, Repräsentationen aufzubauen, die gleichzeitig von vorausgehendem und folgendem Kontext beeinflusst werden, ein Vorteil gegenüber früheren unidirektionalen oder schwach bidirektionalen Ansätzen wie word2vec und ELMo.
BERT wurde in mehreren Größen veröffentlicht, insbesondere BERT-base (110 Millionen Parameter) und BERT-large (340 Millionen Parameter), nach späteren Maßstäben bescheiden, aber für ihre Zeit groß. Google veröffentlichte die vortrainierten Gewichte offen, sodass Forscher das Modell mit vergleichsweise geringen Mengen an aufgabenspezifischen Daten für bestimmte nachgelagerte Aufgaben wie Fragenbeantwortung, Stimmungsanalyse und Erkennung benannter Entitäten feinabstimmen konnten.
Auswirkung
Bei seiner Veröffentlichung erzielte BERT Spitzenergebnisse bei einer Vielzahl von NLP-Benchmarks, darunter die GLUE-Suite und der Datensatz zur Fragenbeantwortung SQuAD, oft mit deutlichem Abstand zu früheren Methoden. Sein Paradigma „Erst vortrainieren, dann feinabstimmen“ wurde in der Branche schnell übernommen und beeinflusste direkt das Design nachfolgender Encoder- und Encoder-Decoder-Modelle. Google integrierte BERT ab 2019 in seine Kernsuchalgorithmen und bezeichnete es als eine der bedeutendsten Verbesserungen der Suchrelevanz seit Jahren, insbesondere beim Verständnis der Absicht hinter längeren, gesprächigeren Suchanfragen.
Vermächtnis im Vergleich zu generativen Modellen
BERT stammt aus der Zeit vor der Ära der großen Sprachmodelle, die durch GPT-2, GPT-3 und ihre Nachfolger definiert wird, und sein reines Encoder-Design ohne generative Fähigkeiten bedeutet, dass es keine offenen Texte so erzeugen kann wie autoregressive Modelle. Trotzdem blieben BERT und seine vielen Ableitungen (darunter RoBERTa, ALBERT und DistilBERT) bis weit in die 2020er-Jahre hinein weit verbreitet für Klassifikations-, Abruf- und Einbettungsaufgaben, bei denen keine Generierung erforderlich ist und Effizienz zählt. BERT-ähnliche Encoder dienten weiterhin als Komponenten in größeren Abruf- und semantischen Suchsystemen, unter anderem als Bausteine in einigen RAG-Pipelines. Forscher wie Christopher Manning und andere in der akademischen NLP-Community haben auf BERTs Veröffentlichung als einen entscheidenden Moment hingewiesen, der zeigte, dass groß angelegtes selbstüberwachtes Pretraining auf unbeschrifteten Texten Methoden übertreffen kann, die hauptsächlich auf beschrifteten Datensätzen beruhen - eine Lektion, die direkt in die Skalierungsphilosophie späterer generativer Sprachmodelle einfloss.