GPT-3 (Generative Pretrained Transformer 3) ist ein Large Language Model, das von OpenAI entwickelt und in einem Papier vom Mai 2020 mit dem Titel „Language Models are Few-Shot Learners“ vorgestellt wurde, wobei der breitere API-Zugang im Laufe des restlichen Jahres 2020 folgte. Wie sein Vorgänger GPT-2 basiert GPT-3 auf der Transformer-Architektur und wird mit einem autoregressiven Next-Token-Ziel trainiert, jedoch dramatisch hochskaliert auf 175 Milliarden Parameter, mehr als 100-mal größer als das vollständige Modell von GPT-2, trainiert auf einer Mischung aus Common Crawl, Büchern und Wikipedia-Texten.
Few-Shot-Lernen
Der zentrale Forschungsbeitrag von GPT-3 bestand darin, zu demonstrieren, dass ein ausreichend großes Sprachmodell eine breite Palette von Aufgaben ausführen kann, darunter Übersetzung, Fragenbeantwortung, Arithmetik und einfaches Denken, wenn nur eine Handvoll Beispiele in seinem Prompt gegeben werden, ohne jegliches gradientenbasiertes Feintuning. Diese Fähigkeit, die von OpenAI-Forschern einschließlich des Hauptautors Tom Brown als Few-Shot-Lernen und allgemeiner als In-Context-Lernen beschrieben wurde, legte nahe, dass allein die Skalierung eine aufgabenspezifische Schulung ersetzen könnte, ein Befund, der aufkommende Überzeugungen über Skalierungsgesetze in der Sprachmodellierung verstärkte und die anschließenden Forschungsprioritäten im gesamten Feld prägte.
Kommerzieller Start
Anstatt die Gewichte von GPT-3 öffentlich freizugeben, wie es bei GPT-2 schließlich getan hatte, machte OpenAI GPT-3 ab Juni 2020 ausschließlich über eine kostenpflichtige API verfügbar, zunächst über eine private Beta. Diese Entscheidung begründete ein Geschäftsmodell, das später in der gesamten Branche weit verbreitet übernommen wurde, bei dem hochmoderne Sprachmodelle als abgerechneter Cloud-Dienst genutzt werden, anstatt heruntergeladen und lokal ausgeführt zu werden, ein Gegensatz zu offenen Gewichtsmodellen, die in späteren Jahren von Wettbewerbern veröffentlicht wurden. Die API zog schnell eine Welle von Start-ups an, die Produkte auf Basis von GPT-3 aufbauten, darunter frühe KI-Schreibassistenten, Chatbots und Codegenerierungswerkzeuge, und Microsoft erhielt 2020 separat eine exklusive Lizenz für die zugrunde liegenden Modellgewichte von GPT-3 als Teil seiner breiteren Investition in OpenAI.
Auswirkungen und Einschränkungen
GPT-3 wurde in der Mainstream- und Technologiepresse weitgehend als Beleg dafür behandelt, dass Sprachmodelle sich qualitativ neuen Fähigkeiten näherten, und es informierte direkt die Entwicklung von instruktionsabgestimmten Varianten, die mit Techniken einschließlich RLHF trainiert wurden, Arbeiten, die im November 2022 in der Veröffentlichung von ChatGPT gipfelten, das auf einer GPT-3.5-Variante basiert. GPT-3 zog auch erhebliche Kritik auf sich wegen seiner Tendenz, flüssige, aber faktisch falsche Ausgaben zu produzieren, ein frühes prominentes Beispiel für das, was das Feld später als Halluzination bezeichnete, sowie wegen der Reproduktion von Verzerrungen, die in seinen Trainingsdaten vorhanden sind. Sein Nachfolger, GPT-4, wurde im März 2023 mit erheblich erweiterten Fähigkeiten einschließlich multimodaler Eingaben veröffentlicht.