BERT (Bidirectional Encoder Representations from Transformers) ist ein Sprachrepräsentationsmodell, das im Oktober 2018 von Google veröffentlicht wurde. Es gehörte zu den ersten breit einflussreichen Anwendungen der Transformer-Architektur auf das Sprachverständnis, und seine Veröffentlichung wird oft als Wendepunkt bezeichnet, der das Pretraining auf Transformer-Basis zum dominierenden Paradigma in der Verarbeitung natürlicher Sprache machte.
Architektur und Training
BERT verwendet nur die Encoder-Hälfte der Transformer-Architektur, im Gegensatz zu dem decoderbasierten, autoregressiven Design, das später von der GPT-Serie verwendet wurde. Es wird mit zwei selbstüberwachten Zielen trainiert: Maskiertes Sprachmodellieren, bei dem zufällige Wörter in einem Satz verborgen werden und das Modell sie mithilfe des Kontexts aus beiden Richtungen vorhersagen muss, sowie Nächster-Satz-Vorhersage, bei der das Modell lernt, ob ein Satz plausibel auf einen anderen folgt. Dieses bidirektionale Training ermöglichte es BERT, Repräsentationen aufzubauen, die gleichzeitig von vorausgehendem und folgendem Kontext informiert werden - ein Vorteil gegenüber früheren unidirektionalen oder nur oberflächlich bidirektionalen Ansätzen wie word2vec und ELMo.
BERT wurde in mehreren Größen veröffentlicht, insbesondere BERT-base (110 Millionen Parameter) und BERT-large (340 Millionen Parameter), die nach späteren Maßstäben bescheiden, aber für ihre Zeit groß waren. Google veröffentlichte die vortrainierten Gewichte offen, sodass Forscher das Modell für spezifische nachgelagerte Aufgaben wie Fragenbeantwortung, Sentimentanalyse und Erkennung benannter Entitäten mit vergleichsweise kleinen Mengen an aufgabenspezifischen Daten feinabstimmen konnten.
Auswirkung
Bei seiner Veröffentlichung erzielte BERT Spitzenergebnisse über eine breite Palette von NLP-Benchmarks, einschließlich der GLUE-Suite und des SQuAD-Fragenbeantwortungsdatensatzes, oft mit erheblichem Abstand zu früheren Methoden. Sein Paradigma „Vortraining dann Feinabstimmung“ wurde schnell in der gesamten Fachwelt übernommen und beeinflusste direkt das Design nachfolgender Encoder- und Encoder-Decoder-Modelle. Google integrierte BERT ab 2019 in seine zentralen Suchranking-Systeme und beschrieb es als eine der bedeutendsten Verbesserungen der Suchrelevanz seit Jahren, insbesondere für das Verständnis der Absicht hinter längeren, konversationelleren Suchanfragen.
Vermächtnis im Vergleich zu generativen Modellen
BERT geht der Ära der großen Sprachmodelle voraus, die durch GPT-2, GPT-3 und ihre Nachfolger definiert wird, und sein reines Encoder-Design ohne generative Fähigkeiten bedeutet, dass es keine offenen Texte so erzeugen kann, wie autoregressive Modelle es können. Trotzdem blieben BERT und seine vielen Ableitungen (einschließlich RoBERTa, ALBERT und DistilBERT) bis weit in die 2020er-Jahre hinein weit verbreitet für Klassifikations-, Abruf- und Einbettungsaufgaben, bei denen Generierung unnötig ist und Effizienz zählt. BERT-Stil-Encoder dienten weiterhin als Komponenten in größeren Abruf- und Semantiksuch-Systemen, einschließlich als Bausteine in einigen abrufverstärkten Generierungs-Pipelines. Forscher wie Christopher Manning und andere in der akademischen NLP haben auf BERTs Veröffentlichung als einen entscheidenden Moment hingewiesen, der zeigte, dass groß angelegtes selbstüberwachtes Vortraining auf unbeschriftetem Text Methoden übertreffen konnte, die hauptsächlich auf beschrifteten Datensätzen beruhen - eine Lektion, die direkt in die Skalierungsphilosophie hinter späteren generativen Sprachmodellen einfloss.