Generative Pre-trained Transformer 3 (GPT-3) ist ein großes Sprachmodell, das 2020 von OpenAI als Teil der GPT-Serie des Unternehmens veröffentlicht wurde. Es handelt sich um ein reines Decoder-Transformer-Modell des Deep Learning, das auf rekurrenten und faltungsbasierten Architekturen basierende Ansätze durch einen Aufmerksamkeitsmechanismus ersetzt, der es dem Modell ermöglicht, sich selektiv auf relevante Eingabetexte zu konzentrieren. GPT-3 verfügt über 175 Milliarden Parameter mit 16-Bit-Präzision, was einen Speicherbedarf von 350 GB erfordert. Es hat ein Kontextfenster von 2.048 Token und zeigte starke Zero-Shot- und Few-Shot-Lernfähigkeiten bei vielen Aufgaben.
Hintergrund
Laut The Economist führten verbesserte Algorithmen, leistungsfähigere Computer und zunehmend digitalisiertes Material zu einer Revolution im maschinellen Lernen. Neue Techniken in den 2010er Jahren führten zu raschen Verbesserungen bei Aufgaben der Sprachverarbeitung. Softwaremodelle werden mit Tausenden oder Millionen von Beispielen trainiert, in einer Struktur, die lose auf der neuronalen Architektur des Gehirns basiert. Eine Schlüsselarchitektur ist der 2017 eingeführte Transformer, der zentral für Systeme zur Verarbeitung natürlicher Sprache wurde.
Am 11. Juni 2018 veröffentlichten Forscher von OpenAI ein Papier, das den ersten generativen vortrainierten Transformer (GPT) vorstellte, eine Art generatives großes Sprachmodell, das auf einem vielfältigen Textkorpus vortrainiert und anschließend diskriminativ feinabgestimmt wurde. Auf GPT-1 folgte im Februar 2019 GPT-2, das Parameter- und Datensatzgröße um den Faktor 10 skalierte und 1,5 Milliarden Parameter erreichte, die auf 8 Millionen Webseiten trainiert wurden. Im Februar 2020 führte Microsoft Turing Natural Language Generation (T-NLG) mit 17 Milliarden Parametern ein, damals das größte veröffentlichte Sprachmodell.
Training und Fähigkeiten
Am 28. Mai 2020 beschrieb ein arXiv-Preprint von 31 OpenAI-Ingenieuren und -Forschern GPT-3, ein Sprachmodell der dritten Generation auf dem neuesten Stand der Technik. Das Team erhöhte die Kapazität um über zwei Größenordnungen gegenüber GPT-2 und machte GPT-3 zum damals größten nicht-sparsamen Sprachmodell. Seine Genauigkeit wird auf erhöhte Kapazität und Parameter zurückgeführt, die zehnmal größer sind als die von Microsofts Turing NLG. Lambdalabs schätzte hypothetische Kosten von etwa 4,6 Millionen US-Dollar und 355 Jahren für das Training auf einer einzelnen GPU im Jahr 2020, wobei die tatsächliche Zeit bei parallelen GPUs geringer war.
Sechzig Prozent des gewichteten Vortrainingsdatensatzes stammten aus einer gefilterten Version von Common Crawl mit 410 Milliarden Byte-Paar-codierten Token, unter Verwendung von Fuzzy-Deduplizierung mit Apache Sparks MinHashLSH. Weitere Quellen umfassten WebText2 (19 Milliarden Token, 22 %), Books1 (12 Milliarden Token, 8 %), Books2 (55 Milliarden Token, 8 %) und Wikipedia (3 Milliarden Token, 3 %). GPT-3 wurde mit Hunderten von Milliarden Wörtern trainiert und konnte in CSS, JSX und Python programmieren.
Da die Trainingsdaten allumfassend waren, benötigt GPT-3 kein weiteres Training für unterschiedliche Aufgaben. Es erzeugt jedoch gelegentlich toxische Sprache, die seine Trainingsdaten nachahmt. Eine Studie der University of Washington ergab, dass GPT-3 toxische Sprache erzeugte, die mit GPT-2 und CTRL vergleichbar war. OpenAI implementierte Strategien zur Begrenzung der Toxizität, was zu weniger toxischen Ausgaben als bei GPT-1, aber mehr als bei CTRL Wiki führte.
API und Zugriff
Am 11. Juni 2020 kündigte OpenAI an, dass Benutzer Zugriff auf seine GPT-3-API anfordern können, ein Werkzeugset für maschinelles Lernen mit einer allgemeinen Text-in-Text-out-Schnittstelle. Ein früher Benutzer beschrieb es als unheimlich gut darin, kohärenten Text mit einfachen Aufforderungen zu schreiben. In einem Experiment beurteilten 80 US-Probanden kurze Artikel als von Menschen oder GPT-3 geschrieben und lagen nur in 52 % der Fälle richtig, was geringfügig besser als Zufall war.
Am 22. September 2020 gab Microsoft bekannt, GPT-3 exklusiv lizenziert zu haben. Andere konnten weiterhin Ausgaben über die öffentliche API erhalten, aber nur Microsoft hatte Zugriff auf das zugrunde liegende Modell. Am 18. November 2021 kündigte OpenAI uneingeschränkten API-Zugriff mit einem Inhaltsmoderationswerkzeug an. Am 27. Januar 2022 machte OpenAI InstructGPT zum Standardmodell, das Anweisungen besser befolgte und weniger erfundene Fakten erzeugte.
Auswirkungen und Bedenken
GPT-3 kann Nachrichtenartikel erzeugen, die menschliche Bewerter nur schwer von menschlich geschriebenen unterscheiden können, mit Potenzial für sowohl nützliche als auch schädliche Anwendungen. Das Papier vom Mai 2020 beschrieb potenzielle Schäden, darunter Fehlinformationen, Spam, Phishing und Missbrauch rechtlicher und staatlicher Prozesse. Die Veröffentlichung des Modells förderte weitere Entwicklungen im Bereich generative KI und beeinflusste nachfolgende Modelle von Anthropic und Google DeepMind. Seine Architektur und sein Trainingsansatz wurden grundlegend für spätere große Sprachmodelle, und sein API-Modell beeinflusste kommerzielle KI-Dienste auf Azure und Amazon Web Services.
Vermächtnis
GPT-3 markierte einen Wendepunkt im öffentlichen Bewusstsein für große Sprachmodelle und zeigte, dass die Skalierung von Transformer-Modellen emergente Fähigkeiten hervorbringen kann. Sein Maßstab von 175 Milliarden Parametern setzte einen Benchmark, obwohl spätere Modelle ihn übertreffen würden. Die exklusive Lizenzierung an Microsoft unterstrich den kommerziellen Wert solcher Modelle. GPT-3s Few-Shot-Lernfähigkeiten reduzierten die Notwendigkeit aufgabenspezifischer Feinabstimmung und beeinflussten die Forschung in RLHF und Anweisungsbefolgung. Seine Veröffentlichung löste auch Diskussionen über KI-Sicherheit, Verzerrungen und die Umweltkosten des Trainings großer Modelle aus.