Generative Pre-trained Transformer 3 (GPT-3) ist ein großes Sprachmodell, das von OpenAI im Jahr 2020 als Teil der GPT-Serie des Unternehmens veröffentlicht wurde. Es ist ein reines Decoder-Transformer (architecture)-Modell eines tiefen neuronalen Netzwerks, das einen Aufmerksamkeitsmechanismus nutzt, um sich selektiv auf relevante Eingabesegmente zu konzentrieren. Mit 175 Milliarden Parametern, die jeweils in 16-Bit-Präzision gespeichert sind, benötigt GPT-3 350 GB Speicherplatz und unterstützt ein Kontextfenster von 2.048 Token. Es zeigte starkes Zero-Shot- und Few-Shot-Lernen bei vielen Aufgaben, und seine Veröffentlichung über eine API wurde am 11. Juni 2020 angekündigt.
Hintergrund
Laut The Economist befeuerten verbesserte Algorithmen, leistungsfähigere Computer und ein wachsender digitalisierter Korpus eine Revolution im Machine learning. Neue Techniken in den 2010er-Jahren führten zu raschen Verbesserungen bei der Sprachverarbeitung, die auf neuronalen Architekturen basierten, die lose auf dem Gehirn beruhen. Die Transformer (architecture)-Architektur, die 2017 eingeführt wurde, wurde grundlegend für Natural language processing-Systeme. Im Juni 2018 veröffentlichte OpenAI den ersten generativen vortrainierten Transformer (GPT-1), ein Modell, das auf einem großen Textkorpus trainiert und dann für spezifische Aufgaben feinabgestimmt wurde. GPT-2 folgte im Februar 2019 und skalierte Parameter und Datensatzgröße um das Zehnfache, wobei es 1,5 Milliarden Parameter erreichte, die auf 8 Millionen Webseiten trainiert wurden. Im Februar 2020 führte Microsoft Turing NLG ein, ein Modell mit 17 Milliarden Parametern, das damals als das größte galt.
Training und Fähigkeiten
Am 28. Mai 2020 beschrieb ein arXiv-Preprint von 31 OpenAI-Ingenieuren und -Forschern die Entwicklung von GPT-3, wobei die Modellkapazität im Vergleich zu GPT-2 um mehr als zwei Größenordnungen erhöht wurde, was es zum größten nicht-spärlichen Sprachmodell dieser Zeit machte. Seine Genauigkeit beruhte auf erhöhter Kapazität und mehr Parametern, wobei es zehnmal größer war als Microsofts Turing NLG. Lambdalabs schätzte die Trainingskosten auf 4,6 Millionen US-Dollar und 355 Jahre auf einer einzelnen GPU im Jahr 2020. Die Vortrainingsdaten umfassten 410 Milliarden Byte-Paar-codierte Token aus gefiltertem Common Crawl (60 % der gewichteten Daten) sowie WebText2, Books1, Books2 und Wikipedia (3 %). GPT-3 konnte auch in Python, JSX und CSS programmieren.
GPT-3 verzichtete auf aufgabenspezifische Feinabstimmung und verarbeitete stattdessen breite Anweisungen. Die Trainingsdaten enthielten jedoch toxische Sprache, die das Modell gelegentlich reproduzieren konnte. Eine Studie der University of Washington fand heraus, dass die Toxizität von GPT-3 mit der von GPT-2 und CTRL vergleichbar war. OpenAI implementierte Minderungsstrategien, die toxische Ausgaben im Vergleich zu GPT-1 reduzierten.
API-Zugriff und Bewertung
Am 11. Juni 2020 veröffentlichte OpenAI eine allgemeine API mit einer Text-in-Text-out-Schnittstelle, die jede englischsprachige Aufgabe ermöglichte, anstatt nur Einzelfälle. Frühe Tester beschrieben GPT-3 als unheimlich gut bei der kohärenten Texterzeugung. In einem Experiment mit 80 US-Teilnehmern lag die korrekte Unterscheidungsrate zwischen GPT-3-Artikeln und von Menschen verfassten Artikeln nur bei 52 %, was nur knapp über dem Zufallsniveau lag. Bis zum 18. November 2021 erweiterte OpenAI den Zugriff auf seine API mit einem Inhaltsmoderationswerkzeug. Am 27. Januar 2022 wurde InstructGPT zum Standard-API-Modell, das die Befolgung von Anweisungen verbesserte und erfundene Fakten reduzierte.
Lizenzierung und Auswirkungen
Am 22. September 2020 kündigte Microsoft eine exklusive Lizenz für das zugrunde liegende Modell von GPT-3 an. Andere konnten die öffentliche API nutzen, aber nur Microsoft hatte Zugriff auf den Code und die Gewichte. GPT-3 zeigte Potenzial zur Erzeugung von Nachrichtenartikeln, die schwer von menschlichen Texten zu unterscheiden sind, was Bedenken hinsichtlich Fehlinformationen und Betrug aufwarf. Die Forscher beschrieben potenzielle schädliche Auswirkungen, darunter Spam und rechtlichen Missbrauch.