Generative Pre-trained Transformer 3 (GPT-3) ist ein großes Sprachmodell, das 2020 von OpenAI als Teil der GPT-Serie des Unternehmens veröffentlicht wurde. Es handelt sich um ein reines Decoder-Transformer-Modell eines tiefen neuronalen Netzwerks, das Architekturen auf Basis von Rekurrenz und Faltung durch einen Aufmerksamkeitsmechanismus ersetzt, der eine selektive Fokussierung auf relevante Eingabetexte ermöglicht. GPT-3 verfügt über 175 Milliarden Parameter mit 16-Bit-Präzision, was 350 GB Speicherplatz erfordert, sowie über ein Kontextfenster von 2.048 Token und demonstriert starke Zero-Shot- und Few-Shot-Lernfähigkeiten bei vielen Aufgaben.
Hintergrund
Die Entwicklung von GPT-3 war Teil einer breiteren Revolution im maschinellen Lernen, die durch verbesserte Algorithmen, leistungsfähigere Computer und zunehmend digitalisierte Daten vorangetrieben wurde. Die 2017 eingeführte Transformer-Architektur wurde zu einer zentralen Grundlage für Systeme der natürlichen Sprachverarbeitung (NLP). Forscher von OpenAI veröffentlichten am 11. Juni 2018 ein Papier, das den ersten generativen vortrainierten Transformer (GPT-1) vorstellte, eine Art generatives großes Sprachmodell, das auf einem großen Textkorpus vortrainiert und für spezifische Aufgaben feinabgestimmt wurde. GPT-2, veröffentlicht im Februar 2019, skalierte GPT-1 mit 1,5 Milliarden Parametern hoch und wurde auf 8 Millionen Webseiten trainiert. Im Februar 2020 führte Microsoft Turing Natural Language Generation (T-NLG) mit 17 Milliarden Parametern ein, das damals das größte Sprachmodell war.
Training und Fähigkeiten
Am 28. Mai 2020 beschrieb ein arXiv-Preprint von 31 OpenAI-Ingenieuren und -Forschern GPT-3, ein Sprachmodell der dritten Generation mit modernstem Stand der Technik. Die Kapazität von GPT-3 wurde gegenüber GPT-2 um mehr als zwei Größenordnungen erhöht, was es zum damaligen Zeitpunkt zum größten nicht-spärlichen Sprachmodell machte. Seine Genauigkeit wird auf die erhöhte Kapazität und die Anzahl der Parameter zurückgeführt, die zehnmal größer ist als bei Microsofts Turing NLG. Lambdalabs schätzte hypothetische Trainingskosten von etwa 4,6 Millionen US-Dollar und 355 Jahren auf einer einzelnen GPU, wobei die tatsächliche Zeit bei parallelen GPUs geringer ausfiel.
Der Vortrainingsdatensatz umfasste 60 % gefiltertes Common Crawl (410 Milliarden Byte-Paar-codierte Token), 22 % WebText2 (19 Milliarden Token), 8 % Books1 (12 Milliarden Token), 8 % Books2 (55 Milliarden Token) und 3 % Wikipedia (3 Milliarden Token). Fuzzy-Deduplizierung wurde mit Apache Sparks MinHashLSH durchgeführt. GPT-3 wurde mit Hunderten von Milliarden Wörtern trainiert und konnte in CSS, JSX und Python programmieren.
Da die Trainingsdaten allumfassend waren, benötigte GPT-3 kein weiteres Training für unterschiedliche Aufgaben. Es erzeugte jedoch gelegentlich toxische Sprache, da es seine Trainingsdaten nachahmte. Eine Studie der University of Washington fand heraus, dass die Toxizität von GPT-3 mit der von GPT-2 und CTRL vergleichbar war. OpenAI implementierte Strategien, um toxische Ausgaben zu begrenzen, was zu weniger Toxizität als bei GPT-1, aber mehr als bei CTRL Wiki führte.
Am 11. Juni 2020 kündigte OpenAI den Zugang zu seiner GPT-3-API an, einem Werkzeugsatz für maschinelles Lernen mit einer Text-in-, Text-out-Schnittstelle für jede englischsprachige Aufgabe. Frühe Nutzer fanden es „unheimlich gut“ beim Schreiben kohärenter Texte. In einem Experiment bewerteten 80 US-Probanden kurze Artikel als von Menschen oder GPT-3 geschrieben und identifizierten nur 52 % korrekt, was geringfügig besser als Zufall war. Am 18. November 2021 machte OpenAI den API-Zugang ohne Einschränkungen mit Moderationstools für Inhalte verfügbar. Am 27. Januar 2022 wurden InstructGPT-Modelle zum Standard, die besser ausgerichtete Inhalte mit weniger erfundenen Fakten und weniger Toxizität erzeugten.
Die Fähigkeit von GPT-3, Nachrichtenartikel zu generieren, die von menschlich geschriebenen nicht zu unterscheiden sind, birgt Potenzial für sowohl nützliche als auch schädliche Anwendungen, einschließlich Fehlinformationen, Spam, Phishing und Missbrauch rechtlicher Prozesse, wie im Papier vom 28. Mai 2020 detailliert beschrieben.
Kommerzielle Lizenzierung
Am 22. September 2020 gab Microsoft bekannt, GPT-3 exklusiv lizenziert zu haben. Während andere weiterhin die öffentliche API nutzen konnten, hatte nur Microsoft Zugang zum zugrunde liegenden Modell. Diese exklusive Lizenzierung war Teil der breiteren Partnerschaft von Microsoft mit OpenAI, die Investitionen und die Integration in Azure-Dienste umfasste.
Auswirkungen und Vermächtnis
GPT-3 beeinflusste das Feld der künstlichen Intelligenz erheblich, indem es die Leistungsfähigkeit der Skalierung von Transformer-Modellen demonstrierte. Seine Few-Shot-Lernfähigkeiten reduzierten den Bedarf an aufgabenspezifischer Feinabstimmung und inspirierten nachfolgende Modelle wie InstructGPT und später GPT-4. Die Veröffentlichung löste auch Diskussionen über die ethischen Implikationen großer Sprachmodelle aus, einschließlich Voreingenommenheit, Fehlinformationen und Zugangskontrolle.
Die Architektur und der Trainingsansatz von GPT-3 wurden zu einem Maßstab für nachfolgende große Sprachmodelle, einschließlich derer von Anthropic und Google DeepMind. Sein kommerzieller Erfolg über die API und die Microsoft-Lizenzierung etablierte ein Geschäftsmodell für KI-Forschung und beeinflusste die breitere Landschaft der generativen KI.
Technische Details
GPT-3 verwendet eine Transformer-Architektur mit Multi-Head-Attention und Positionskodierung. Es nutzt ein reines Decoder-Design, im Gegensatz zu Encoder-Decoder-Modellen, und verwendet Techniken wie Schichtnormalisierung und Residualnetzwerke. Das Training umfasste Gradientenabstieg mit Optimierern wie Adam und Lernratenplänen. Die Parameter des Modells werden mit 16-Bit-Präzision gespeichert, was den Speicherbedarf reduziert.
Das Kontextfenster von GPT-3 mit 2.048 Token begrenzt die Länge der Eingabe, die es verarbeiten kann, aber es kann kohärenten Text über mehrere Absätze hinweg generieren. Sein Few-Shot-Lernen wird durch Prompting erreicht, bei dem Beispiele in der Eingabe bereitgestellt werden, ohne die Modellgewichte zu aktualisieren. Diese Fähigkeit war eine zentrale Innovation, die eine breite Anwendbarkeit ohne Feinabstimmung ermöglichte.
Rezeption und Bedenken
GPT-3 erhielt breite Aufmerksamkeit für seine beeindruckende Textgenerierung, weckte aber auch Bedenken hinsichtlich möglichen Missbrauchs. Forscher hoben Risiken wie die Erzeugung von Fake News, Spam und Phishing-Inhalten hervor. OpenAIs anfänglich eingeschränkter Zugang und spätere Moderationstools für Inhalte zielten darauf ab, diese Risiken zu mindern. Die Tendenz des Modells, toxische Sprache zu erzeugen, trotz Verbesserungen, blieb ein Anliegen und führte zu laufender Forschung in KI-Sicherheit und -Ausrichtung.
Die exklusive Lizenzierung an Microsoft war umstritten, da sie den Zugang zum zugrunde liegenden Modell für andere Forscher und Unternehmen einschränkte. Die öffentliche API ermöglichte jedoch breitere Experimente und trug zur schnellen Weiterentwicklung von Sprachmodellanwendungen bei.
Die Veröffentlichung von GPT-3 markierte einen Meilenstein in der künstlichen Intelligenz, demonstrierte das Potenzial großer Transformer-Modelle und prägte die Zukunft des maschinellen Lernens und des Deep Learnings. Sein Einfluss zeigt sich in nachfolgenden Modellen und dem wachsenden Feld der generativen KI.