GPT-2 (Generative Pre-trained Transformer 2) ist ein Large-Language-Modell, das von OpenAI entwickelt und am 14. Februar 2019 angekündigt wurde. Es ist das zweite Modell in OpenAIs grundlegender GPT-Serie, das auf GPT-1 folgt und GPT-3 vorausgeht. GPT-2 wurde auf einem Datensatz von 8 Millionen Webseiten vortrainiert, und seine Fähigkeit, kohärenten und kontextrelevanten Text zu erzeugen, wurde als bedeutender Fortschritt im Bereich generative KI angesehen. Das Modell wurde zunächst während seiner teilweisen Veröffentlichung zurückgehalten, wobei die vollständige Version mit 1,5 Milliarden Parametern erst am 5. November 2019 verfügbar wurde. Aufgrund seiner Fähigkeit, Sprachen zu übersetzen, Fragen zu beantworten und Passagen zusammenzufassen, hoben Forscher und Kommentatoren sein Potenzial sowohl für nützliche Anwendungen als auch für Missbrauch hervor, wie etwa die Erzeugung von Spam oder die Erstellung von Falschnachrichten.
Architektur
Wie sein Vorgänger GPT-1 und seine Nachfolger verwendet GPT-2 eine Deep-Learning-Transformer-Architektur, eine Art neuronales Netz, das einen als Aufmerksamkeit bekannten Mechanismus implementiert. Dieser Aufmerksamkeitsmechanismus hat nachweislich die Leistung bei Aufgaben verbessert, die Sequence-to-Sequence (Seq2Seq)-Vorhersagen beinhalten. Im Gegensatz zu älteren Modellen, die auf Rekurrenz oder Faltung basieren, ermöglicht der Aufmerksamkeitsmechanismus des Transformers dem Modell, Eingabetexte parallel zu verarbeiten, was die Trainings- und Inferenzgeschwindigkeit erheblich erhöhen kann. Die Architektur des Modells wurde als eine hochskalierte Version von GPT-1 beschrieben, mit einer zehnfachen Erhöhung der Parameteranzahl (1,5 Milliarden) und der Trainingsdatengröße. Diese Parallelisierung, die auf spezialisierter Hardware erreicht wurde, ermöglichte das Training auf einem Korpus, der größer war als zuvor möglich, was zu seiner Fähigkeit beitrug, allgemeine Machine-Learning-Aufgaben zu bewältigen.
Training
GPT-2 wurde auf WebText trainiert, einem Korpus von über 100 Gigabyte Text, der aus ausgehenden Links auf Reddit gesammelt wurde, die vor Dezember 2017 mindestens 3 Karma erhielten. Reddit wurde als Stellvertreter für von Menschen kuratierte Inhalte verwendet, um qualitativ minderwertige Seiten herauszufiltern. HTML wurde in Klartext geparst, doppelte Links wurden entfernt, und Wikipedia-Seiten wurden aus dem Trainingssatz ausgeschlossen, um Überanpassung zu vermeiden, da diese Artikel oft in vielen anderen Datensätzen vorkommen. CommonCrawl wurde trotz seiner Größe abgelehnt, weil es eine große Menge unverständlicher Inhalte enthielt. Die Infrastruktur für das Training von GPT-2 nutzte 32 TPU-v3-Chips für 168 Stunden, was laut Andrej Karpathy, einem damals mit dem Projekt verbundenen Forscher, etwa 43.000 Dollar an Rechenkosten betrug. Dies war für ein Modell dieser Größe relativ gering, aufgrund der Effizienz des Transformers. Das Ergebnis war ein Modell, das Texte erzeugen konnte, die manchmal nicht von menschlichen Ausgaben zu unterscheiden waren, obwohl es bei längeren Passagen repetitiv oder unsinnig werden konnte, eine Einschränkung, die zukünftige große Sprachmodelle zu verbessern versuchten.
Teilweise Veröffentlichung
OpenAIs anfängliche Entscheidung, das vollständige Modell nicht sofort zu veröffentlichen, basierte auf der Sorge, dass das Modell für böswillige Zwecke verwendet werden könnte, etwa zur Erzeugung von Spam oder Desinformation. Das Unternehmen veröffentlichte am 20. August 2019 eine Teilversion mit 774 Millionen Parametern, etwa der Hälfte der ursprünglichen Größe (auch als 774M-Version bekannt). Diese Teilveröffentlichung sollte es Forschern ermöglichen, das Verhalten des Modells zu verstehen und gleichzeitig Missbrauch zu mildern, dass OpenAIs Ansatz bei einigen Forschern auf Gegenreaktionen stieß, darunter Anima Anandkumar, die behauptete, die Bedrohung sei übertrieben. Andere argumentierten jedoch, dass das Modell verwendet werden könnte, um soziale Medien mit nicht unterscheidbarer Prosa zu füllen, und das Allen Institute for Artificial Intelligence baute daraufhin einen Detektor für neuronale Falschnachrichten.
In einem Artikel von The Verge vom Februar 2019 schrieb James Vincent, dass die Ausgaben von GPT-2 oft eindeutig nicht menschlich seien, aber dennoch „eines der aufregendsten Beispiele“ für KI zur Spracherzeugung. Der Artikel zeigte, dass das Modell mit einer falschen Schlagzeile den Rest des Artikels mit erfundenen Zitaten und Statistiken schreiben und sogar mit geeigneten Eingabeaufforderungen Belletristik verfassen konnte. Kelsey Piper von Vox schrieb, dass „eines der coolsten KI-Systeme, die ich je gesehen habe, auch das sein könnte, das mich rauswirft“; dennoch beschrieb sie seine Ausgabe durch eine neutrale Linse. The Guardian beschrieb seinen Text als „plausible Zeitungsprosa“.
Trotz der teilweisen Veröffentlichung behielt OpenAI den Code und den Korpus des vollständigen Modells zurück. Dies führte zu verschiedenen Drittausgaben. Im August 2019 wurde die freie Software-Replikation OpenGPT-2 mit OpenWebText erstellt, deren Rechenkosten etwa 50.000 Dollar betrugen. Dies veranschaulicht die offene Forschung und Entwicklung, die auf die anfängliche Veröffentlichung des Modells folgte.
Ethische und gesellschaftliche Auswirkungen
Die Entscheidung, die vollständige Veröffentlichung von GPT-2 zu verzögern, löste eine öffentliche Debatte über die Risiken und Vorteile von künstlicher Intelligenz aus. Einige Forscher taten die wahrgenommenen Gefahren ab und stellten fest, dass die Bedrohungen gemildert werden könnten, während andere vor einer kommenden Flut synthetischer Texte warnten, die authentische menschliche Sprache übertönen könnte. Es gab sogar eine teilweise Veröffentlichung eines feinabgestimmten Modells zur Erzeugung positiver oder negativer Produktbewertungen, was das potenzielle Spam-Potenzial demonstrierte. Als Reaktion auf die Hype- und die Open-to-Open-Politik veröffentlichte eine Gruppe von Forschern einen offenen Brief, der die vollständige Freigabe forderte und ablehnte, dass Sprachmodelle so gefährlich seien, wie sie dargestellt wurden, wobei sie auf Technologien wie Photoshop und die Druckerpresse verwiesen, die missbraucht, aber auch in den Alltag integriert wurden.
Die langfristige Wirkung der zurückgehaltenen Veröffentlichung bestand darin, dass sie das öffentliche Bewusstsein für Large-Language-Modelle und ihre Fähigkeiten schärfte. GPT-2 wurde schließlich als Schwerpunkt für die Sicherheit von künstlicher Intelligenz genutzt und beeinflusste nachfolgende Open-Source-Modelle. Es wurde später von GPT-3 und GPT-4 abgelöst; ab 2024 sind GPT-3 und GPT-4, die nicht mehr Open Source sind, prominenter geworden. Die Episode diente als wichtiger Punkt für die Abwägung von Transparenz und Vorsicht bei der Entwicklung leistungsfähiger KI-Systeme.
Ethische und gesellschaftliche Auswirkungen
Die Entscheidung, die vollständige Veröffentlichung von GPT-2 zu verzögern, löste eine öffentliche Debatte über die Risiken und Vorteile von künstlicher Intelligenz aus. Einige Forscher taten die wahrgenommenen Gefahren ab und merkten an, dass die Bedrohungen abgemildert werden könnten, während andere vor einer kommenden Flut synthetischer Texte warnten, die authentische menschliche Sprache übertönen könnte. Es gab sogar eine Teilveröffentlichung eines feinabgestimmten Modells zur Erzeugung positiver oder negativer Produktbewertungen, ein Beispiel für Spam-Potenzial. Als Reaktion auf die Hype und die Politik der Zurückhaltung veröffentlichten einige Forscher einen offenen Brief, in dem sie die vollständige Veröffentlichung forderten und argumentierten, dass Sprachmodelle nicht so bedrohlich seien wie angenommen, und verwiesen auf Technologien wie Photoshop und die Druckerpresse, die in den Alltag integriert wurden.
Die langfristige Wirkung der zurückgehaltenen Veröffentlichung bestand darin, dass sie das öffentliche Bewusstsein für Large-Language-Modelle und ihre Fähigkeiten erhöhte. GPT-2 wurde schließlich als Fokus für KI-Sicherheit genutzt und beeinflusste nachfolgende Open-Source-Modelle. Es wurde anschließend durch GPT-3 und GPT-4 abgelöst; ab 2024 sind GPT-3 und GPT-4, die nicht mehr Open Source sind, prominenter geworden. Die Episode diente als wichtiger Punkt für Überlegungen, wie man Risiken und Nutzen bei der Entwicklung leistungsfähiger KI-Systeme abwägt.
Vermächtnis
GPT-2 stellte eine bedeutende Entwicklung auf dem Gebiet des Deep Learning dar und wurde zu einem Maßstab für spätere Transformer. Seine Fähigkeit, als allgemeines Modell zu dienen, das auf der Vorhersage des nächsten Elements in einer Sequenz basiert und nicht auf aufgabenspezifischen Daten, war ein grundlegender Schritt für nachfolgende Sprachmodelle. Die Parameteranzahl und die Größe des Trainingskorpus des Modells setzten einen Maßstab für die Skalierung von neuronalen Netzwerkmodellen. Folglich sind die Rechenanforderungen für generative KI gestiegen, und GPT-2 gilt als Meilenstein in der Geschichte der künstlichen Intelligenz. Seine Trainingsprinzipien haben die Entwicklung von Modellen in zahlreichen Bereichen weiterhin beeinflusst, und es bleibt ein wichtiger Referenzpunkt für das Verständnis von Emergenz und maschinellem Lernen.