Generative Pre-trained Transformer 2 (GPT-2) ist ein Large language model, das von OpenAI entwickelt wurde und das zweite in deren grundlegender Serie von GPT-Modellen ist. Es wurde mit einem Datensatz von 8 Millionen Webseiten vortrainiert und im Februar 2019 teilweise veröffentlicht, gefolgt von der vollständigen Veröffentlichung des Modells mit 1,5 Milliarden Parametern am 5. November 2019. GPT-2 wurde als direkte Hochskalierung seines Vorgängers GPT-1 entwickelt, mit einer zehnfachen Erhöhung sowohl der Parameteranzahl als auch der Größe des Trainingsdatensatzes. Es ist ein Allzweck-Lernender, dessen Fähigkeit, verschiedene Aufgaben auszuführen, eine Folge seiner allgemeinen Fähigkeit war, das nächste Element in einer Sequenz genau vorherzusagen, was es ihm ermöglichte, Texte zu übersetzen, Fragen zu beantworten, Passagen zusammenzufassen und Textausgaben zu erzeugen, die manchmal nicht von menschlichem Schreiben zu unterscheiden sind, obwohl es in langen Passagen repetitiv oder unsinnig werden konnte.
GPT-2 verwendet, wie seine Vorgänger und Nachfolger, eine generative vortrainierte Transformer (architecture)-Architektur, die ein tiefes Neural network implementiert, das auf Aufmerksamkeitsmechanismen anstelle älterer Architekturen auf Basis von Rekurrenz und Faltung basiert. Dies ermöglicht es dem Modell, sich selektiv auf relevante Eingabeabschnitte zu konzentrieren und erhöht die Parallelisierung erheblich, wodurch frühere Benchmarks für RNN-/CNN-/LSTM-basierte Modelle übertroffen werden. Es wurde von GPT-3 und GPT-4 abgelöst, die nicht mehr quelloffen sind.
Training
Da die Transformer (architecture)-Architektur eine massive Parallelisierung ermöglichte, konnten GPT-Modelle mit größeren Korpora trainiert werden als frühere Modelle zur Verarbeitung natürlicher Sprache. Während GPT-1 zeigte, dass der Ansatz tragfähig war, untersuchte GPT-2 emergente Eigenschaften von Netzwerken, die mit extrem großen Korpora trainiert wurden. CommonCrawl, ein großer, per Web-Crawling erfasster Korpus, wurde in Betracht gezogen, aber aufgrund großer Mengen unverständlicher Inhalte verworfen. Stattdessen entwickelte OpenAI einen neuen Korpus namens WebText, der durch das Extrahieren nur solcher Seiten erstellt wurde, die mit Beiträgen von Reddit verlinkt waren, die vor Dezember 2017 mindestens 3 Karma erhalten hatten. Der Korpus wurde bereinigt, indem HTML in Klartext geparst, doppelte Seiten entfernt und Wikipedia-Seiten entfernt wurden, um Überanpassung zu vermeiden.
Die Dokumentation zu den Trainingskosten ist begrenzt. Laut einer Aussage von Andrej Karpathy wurde GPT-2 auf 32 TPU-v3-Chips für 168 Stunden (7 Tage) zu etwa 8 US-Dollar pro TPU-v3 pro Stunde trainiert, was Gesamtkosten von etwa 43.000 US-Dollar für die Rechenleistung ergibt. Andere Quellen nennen Trainingskosten von etwa 256 US-Dollar pro Stunde. Vergleichbare Modelle wie BERT und XLNet verbrauchten Ressourcen im Wert von 6.912 bzw. 245.000 US-Dollar.
Veröffentlichung
GPT-2 wurde erstmals am 14. Februar 2019 angekündigt. Ein Artikel von The Verge vom Februar 2019 von James Vincent stellte fest, dass die erzeugten Texte zwar meist leicht als nicht-menschlich erkennbar seien, es sich jedoch weiterhin um eines der aufregendsten Beispiele für Sprachgenerierungsprogramme handele. The Guardian beschrieb seine Ausgabe als plausible Zeitungsprosa, und Kelsey Piper von Vox sagte, es sei eines der coolsten KI-Systeme, die sie je gesehen habe. The Verge hob seine Flexibilität beim Übersetzen von Texten, Zusammenfassen von Artikeln und Beantworten von Quizfragen hervor. Die GPT-2-Serie umfasste vier Modelle, die in dem Papier beschrieben wurden und nicht alle auf einmal, sondern in Stufen veröffentlicht wurden.
Einschränkungen und teilweise Veröffentlichung
Im Gegensatz zu früheren OpenAI-Modellen weigerte sich OpenAI zunächst, den Quellcode von GPT-2 öffentlich freizugeben, und verwies auf das Risiko einer böswilligen Nutzung. Ausgewählten Presseorganen wurde ein eingeschränkter Zugriff gewährt. Eine Rechtfertigung war, dass generierter Text von Spammern genutzt werden könnte, um Filter zu umgehen; OpenAI demonstrierte eine Version, die darauf feinabgestimmt war, unendlich positive oder negative Produktbewertungen zu erzeugen. Eine weitere Rechtfertigung war das Potenzial, obszönen oder rassistischen Text zu erzeugen. Forscher wie Jeremy Howard warnten davor, dass die Technologie soziale Medien mit plausibel klingender Prosa füllen könnte, und das Allen Institute for Artificial Intelligence kündigte ein Werkzeug zur Erkennung neuronaler Falschmeldungen an.
Die Meinungen waren geteilt. Ein Artikel in The Verge vom Februar 2019 argumentierte, dass die Bedrohung übertrieben sei. Anima Anandkumar, Professorin am Caltech und Direktorin der ML-Forschung bei Nvidia, sagte, es gebe keine Belege dafür, dass GPT-2 die beschriebenen Bedrohungen darstelle, und bezeichnete die Weigerung als das Gegenteil von Offenheit. The Gradient veröffentlichte einen offenen Brief, der eine öffentliche Veröffentlichung forderte, und verglich die Bedrohung mit der des Buchdrucks und nannte Photoshop als Beispiel für eine Technologie, die die Gesellschaft trotz ihres Chaos-Potenzials nicht zerstört habe.
Einschränkungen und teilweise Veröffentlichung
Im Gegensatz zu früheren OpenAI-Modellen weigerte sich OpenAI zunächst, den Quellcode von GPT-2 öffentlich freizugeben, und verwies auf das Risiko einer böswilligen Nutzung. Ausgewählten Presseorganen wurde ein begrenzter Zugang gewährt. Eine Rechtfertigung war, dass generierter Text von Spammern genutzt werden könnte, um Filter zu umgehen; OpenAI demonstrierte eine Version, die darauf feinabgestimmt war, unendlich positive oder negative Produktbewertungen zu erzeugen. Eine weitere Rechtfertigung war das Potenzial zur Erzeugung obszöner oder rassistischer Texte. Forscher wie Jeremy Howard warnten davor, dass die Technologie soziale Medien mit plausibel klingender Prosa füllen könnte, und das Allen Institute for Artificial Intelligence kündigte ein Werkzeug zur Erkennung neuronaler Falschmeldungen an.
Die Meinungen waren geteilt. Ein Artikel in The Verge vom Februar 2019 argumentierte, dass die Bedrohung übertrieben sei. Anima Anandkumar, Professorin am Caltech und Direktorin der Maschinenlernforschung bei Nvidia, sagte, es gebe keine Belege dafür, dass GPT-2 die beschriebenen Bedrohungen darstelle, und charakterisierte die Weigerung als das Gegenteil von Offenheit. The Gradient veröffentlichte einen offenen Brief, der die öffentliche Freigabe forderte, verglich die Bedrohung mit der der Druckerpresse und nannte Photoshop als Beispiel für eine Technologie, die die Gesellschaft trotz ihres Potenzials für Chaos nicht zerstört habe.
Einschränkungen und teilweise Veröffentlichung
Im Gegensatz zu früheren OpenAI-Modellen weigerte sich OpenAI zunächst, den Quellcode von GPT-2 öffentlich freizugeben, und verwies auf das Risiko einer böswilligen Nutzung. Ausgewählten Presseorganen wurde ein begrenzter Zugang gewährt. Eine Rechtfertigung war, dass generierter Text von Spammern genutzt werden könnte, um Filter zu umgehen; OpenAI demonstrierte eine Version, die darauf feinabgestimmt war, unendlich positive oder negative Produktbewertungen zu erzeugen. Eine weitere Rechtfertigung war das Potenzial zur Erzeugung obszöner oder rassistischer Texte. Forscher wie Jeremy Howard warnten davor, dass die Technologie soziale Medien mit plausibel klingender Prosa füllen könnte, und das Allen Institute for Artificial Intelligence kündigte ein Werkzeug zur Erkennung neuronaler Falschmeldungen an.
Die Meinungen waren geteilt. Ein Artikel in The Verge vom Februar 2019 argumentierte, dass die Bedrohung übertrieben sei. Anima Anandkumar, Professorin am Caltech und Direktorin der Forschung zu maschinellem Lernen bei Nvidia, sagte, es gebe keine Belege dafür, dass GPT-2 die beschriebenen Bedrohungen darstelle, und bezeichnete die Weigerung als das Gegenteil von Offenheit. The Gradient veröffentlichte einen offenen Brief, der die öffentliche Freigabe forderte, und verglich die Bedrohung mit der des Buchdrucks und nannte Photoshop als Beispiel für eine Technologie, die die Gesellschaft trotz ihres Potenzials für Chaos nicht zerstört habe.
Einschränkungen und teilweise Veröffentlichung
Im Gegensatz zu früheren OpenAI-Modellen weigerte sich OpenAI zunächst, den Quellcode von GPT-2 öffentlich freizugeben, und verwies auf das Risiko einer böswilligen Nutzung. Ausgewählten Presseorganen wurde ein begrenzter Zugang gewährt. Eine Rechtfertigung war, dass generierter Text von Spammern genutzt werden könnte, um Filter zu umgehen; OpenAI demonstrierte eine Version, die darauf feinabgestimmt war, unendlich positive oder negative Produktbewertungen zu erzeugen. Eine weitere Rechtfertigung war das Potenzial, obszönen oder rassistischen Text zu erzeugen. Forscher wie Jeremy Howard warnten davor, dass die Technologie soziale Medien mit plausibel klingender Prosa füllen könnte, und das Allen Institute for Artificial Intelligence kündigte ein Werkzeug zur Erkennung neuronaler Falschmeldungen an.
Die Meinungen waren geteilt. Ein Artikel in The Verge vom Februar 2019 argumentierte, die Bedrohung sei übertrieben. Anima Anandkumar, Professorin am Caltech und Direktorin der Maschinenlernforschung bei Nvidia, sagte, es gebe keine Belege dafür, dass GPT-2 die beschriebenen Bedrohungen darstelle, und bezeichnete die Weigerung als das Gegenteil von Offenheit. The Gradient veröffentlichte einen offenen Brief, der eine öffentliche Veröffentlichung forderte, und verglich die Bedrohung mit der des Buchdrucks und nannte Photoshop als Beispiel für eine Technologie, die die Gesellschaft trotz ihres Chaos-Potenzials nicht zerstört habe.
Einschränkungen und teilweise Veröffentlichung
Im Gegensatz zu früheren OpenAI-Modellen weigerte sich OpenAI zunächst, den Quellcode von GPT-2 öffentlich freizugeben, und verwies auf das Risiko böswilliger Nutzung. Ausgewählten Presseorganen wurde ein begrenzter Zugriff gewährt. Eine Rechtfertigung war, dass generierter Text von Spammern genutzt werden könnte, um Filter zu umgehen; OpenAI demonstrierte eine Version, die darauf feinabgestimmt war, unendlich positive oder negative Produktbewertungen zu erzeugen. Eine weitere Rechtfertigung war das Potenzial, obszönen oder rassistischen Text zu erzeugen. Forscher wie Jeremy Howard warnten davor, dass die Technologie soziale Medien mit plausibel klingender Prosa füllen könnte, und das Allen Institute for Artificial Intelligence kündigte ein Werkzeug zur Erkennung neuronaler Falschmeldungen an.
Die Meinungen waren geteilt. Ein Artikel in The Verge vom Februar 2019 argumentierte, dass die Bedrohung übertrieben sei. Anima Anandkumar, Professorin am Caltech und Direktorin der Forschung zu maschinellem Lernen bei Nvidia, sagte, es gebe keine Belege dafür, dass GPT-2 die beschriebenen Bedrohungen darstelle, und bezeichnete die Weigerung als das Gegenteil von Offenheit. The Gradient veröffentlichte einen offenen Brief, der eine öffentliche Veröffentlichung forderte, und verglich die Bedrohung mit der der Druckerpresse und nannte Photoshop als Beispiel für eine Technologie, die die Gesellschaft trotz ihres Potenzials für Chaos nicht zerstört habe.
Einschränkungen und teilweise Veröffentlichung
Im Gegensatz zu früheren OpenAI-Modellen weigerte sich OpenAI zunächst, den Quellcode von GPT-2 öffentlich freizugeben, und verwies auf das Risiko einer böswilligen Nutzung. Ausgewählten Presseorganen wurde ein eingeschränkter Zugang gewährt. Eine Rechtfertigung war, dass generierter Text von Spammern genutzt werden könnte, um Filter zu umgehen; OpenAI demonstrierte eine Version, die darauf feinabgestimmt war, unendlich positive oder negative Produktbewertungen zu erzeugen. Eine weitere Rechtfertigung war das Potenzial, obszöne oder rassistische Texte zu erzeugen. Forscher wie Jeremy Howard warnten davor, dass die Technologie soziale Medien mit plausibel klingender Prosa füllen könnte, und das Allen Institute for Artificial Intelligence kündigte ein Werkzeug zur Erkennung neuronaler Falschmeldungen an.
Die Meinungen waren geteilt. Ein Artikel in The Verge vom Februar 2019 argumentierte, dass die Bedrohung übertrieben sei. Anima Anandkumar, Professorin am Caltech und Direktorin der Machine-Learning-Forschung bei Nvidia, sagte, es gebe keine Belege dafür, dass GPT-2 die beschriebenen Bedrohungen darstelle, und bezeichnete die Weigerung als das Gegenteil von Offenheit. The Gradient veröffentlichte einen offenen Brief, der eine öffentliche Veröffentlichung forderte, und verglich die Bedrohung mit der des Buchdrucks und nannte Photoshop als Beispiel für eine Technologie, die die Gesellschaft trotz ihres Chaos-Potenzials nicht zerstört habe.
774M-Veröffentlichung
Während OpenAI das vollständig trainierte Modell oder die Korpora nicht veröffentlichte, ermöglichten Beschreibungen der Methoden und die freie Verfügbarkeit der zugrunde liegenden Technologie eine Nachbildung durch andere. Eine solche Nachbildung, OpenGPT-2, wurde im August 2019 mit einer frei lizenzierten Version von WebText namens OpenWebText veröffentlicht, mit Cloud-Computing-Kosten von etwa 50.000 US-Dollar. Am 20. August 2019 veröffentlichte OpenAI eine Teilversion von GPT-2 mit 774 Millionen Parametern, etwa der halben Größe des vollständigen Modells, gefolgt von der vollständigen Veröffentlichung mit 1,5 Milliarden Parametern am 5. November 2019.
Auswirkungen und Vermächtnis
GPT-2s gestaffelte Veröffentlichung löste Debatten über KI-Sicherheit und Offenheit in der Artificial intelligence-Gemeinschaft aus. Es zeigte, dass groß angelegte Deep learning-Modelle mehrere Aufgaben ohne explizites Training ausführen konnten, was die spätere Forschung im Bereich Generative AI beeinflusste. Die Architektur und der Trainingsansatz des Modells wurden zu einer Grundlage für spätere Entwicklungen, einschließlich GPT-3 und darüber hinaus, und seine Veröffentlichungsstrategie setzte einen Präzedenzfall dafür, wie OpenAI und andere Organisationen wie Anthropic und Google DeepMind die Bereitstellung leistungsfähiger Sprachmodelle handhaben. GPT-2 zeigte auch das Potenzial für Missbrauch auf, was zur Entwicklung von Erkennungswerkzeugen und Diskussionen über verantwortungsvolle KI-Veröffentlichung führte.
Technische Details
Das GPT-2-Modell verwendet eine reine Decoder-Transformer-Architektur mit Multi-Head-Aufmerksamkeit und Positionskodierung. Es wurde mit dem Adam-Optimierer mit einem Lernratenplan und Gradienten-Clipping trainiert. Die Modellgrößen reichten von 117 Millionen bis zu 1,5 Milliarden Parametern, wobei die größte Version 48 Schichten und 1600-dimensionale Einbettungen verwendete. Während der Inferenz verwendet GPT-2 Top-k-Sampling und Temperaturskalierung, um vielfältigen Text zu erzeugen. Sein Trainingsdatensatz, WebText, wurde entwickelt, um das Rauschen wahllosen Web-Scrapings zu vermeiden, und konzentrierte sich auf qualitativ hochwertige, von Menschen kuratierte Links von Reddit.
Rezeption und Kritik
Die anfängliche Rezeption war gemischt, mit Lob für die technischen Errungenschaften und Kritik an der eingeschränkten Veröffentlichung. Einige Forscher argumentierten, dass die Sicherheitsbedenken übertrieben seien, während andere den vorsichtigen Ansatz unterstützten. Die Fähigkeit des Modells, aus minimalen Eingabeaufforderungen kohärenten Text zu erzeugen, wurde als bedeutender Fortschritt im Machine learning angesehen, aber seine Einschränkungen, wie Wiederholungen in langen Ausgaben, wurden ebenfalls festgestellt. Die Veröffentlichung von GPT-2 beeinflusste nachfolgende Open-Source-Bemühungen und politische Diskussionen über KI-Governance und trug zum breiteren Feld der Ethik der Artificial intelligence bei.