Generative Pre-trained Transformer 3 (GPT-3) ist ein großes Sprachmodell, das 2020 von OpenAI als Teil der GPT-Serie des Unternehmens veröffentlicht wurde. Wie sein Vorgänger GPT-2 ist es ein reines Decoder-Transformer (architecture)-Modell eines tiefen neuronalen Netzes, das auf Rekurrenz und Faltung basierende Architekturen durch eine als „Attention“ bekannte Technik ablöst. Dieser Aufmerksamkeitsmechanismus ermöglicht es dem Modell, sich selektiv auf Segmente des Eingabetextes zu konzentrieren, die es als am relevantesten vorhersagt. GPT-3 hat 175 Milliarden Parameter, jeweils mit 16-Bit-Präzision, was 350 GB Speicher erfordert, da jeder Parameter 2 Bytes belegt. Es hat eine Kontextfenstergröße von 2.048 Token und hat starke „Zero-Shot“- und „Few-Shot“-Lernfähigkeiten bei vielen Aufgaben gezeigt.
Das Papier, das GPT-3 beschreibt, mit dem Titel „Language Models are Few-Shot Learners“, wurde am 28. Mai 2020 als arXiv-Preprint von einer Gruppe von 31 Ingenieuren und Forschern bei OpenAI veröffentlicht. Das Team erhöhte die Kapazität von GPT-3 um über zwei Größenordnungen im Vergleich zu seinem Vorgänger GPT-2 und machte GPT-3 damit zum größten nicht-spärlichen Sprachmodell seiner Zeit. Da GPT-3 strukturell seinen Vorgängern ähnelt, wird seine höhere Genauigkeit auf seine erhöhte Kapazität und die größere Anzahl an Parametern zurückgeführt. GPT-3s Kapazität ist zehnmal größer als die von Microsofts Turing NLG, dem damals größten bekannten NLP-Modell.
Hintergrund
Laut The Economist haben verbesserte Algorithmen, leistungsfähigere Computer und eine jüngste Zunahme digitalisierter Materialien eine Revolution im maschinellen Lernen ausgelöst. Neue Techniken in den 2010er-Jahren führten zu „raschen Verbesserungen bei Aufgaben", einschließlich der Manipulation von Sprache. Softwaremodelle werden trainiert, indem sie Tausende oder Millionen von Beispielen in einer „Struktur ... lose basierend auf der neuronalen Architektur des Gehirns" lernen. Eine in der Verarbeitung natürlicher Sprache (NLP) verwendete Architektur ist ein neuronales Netz, das auf einem 2017 eingeführten Deep-Learning-Modell basiert - der Transformer-Architektur. Es gibt eine Reihe von NLP-Systemen, die in der Lage sind, Texteingaben zu verarbeiten, zu durchsuchen, zu organisieren, zu verbinden und gegenüberzustellen sowie Fragen korrekt zu beantworten.
Am 11. Juni 2018 veröffentlichten OpenAI-Forscher und -Ingenieure ein Papier, das den ersten generativen vortrainierten Transformer (GPT) vorstellte - eine Art generatives großes Sprachmodell, das mit einem enormen und vielfältigen Textkorpus in Datensätzen vortrainiert wird, gefolgt von diskriminativem Feintuning, um sich auf eine bestimmte Aufgabe zu konzentrieren. GPT-Modelle sind auf Transformatoren basierende Deep-Learning-Neuronennetzarchitekturen. Zuvor verwendeten die besten neuronalen NLP-Modelle üblicherweise überwachtes Lernen aus großen Mengen manuell beschrifteter Daten, was das Training extrem großer Sprachmodelle unerschwinglich teuer und zeitaufwendig machte. Das erste GPT-Modell war als GPT-1 bekannt, und ihm folgte im Februar 2019 GPT-2. Als direkte Vergrößerung seines Vorgängers hatte GPT-2 sowohl seine Parameteranzahl als auch seine Datensatzgröße um den Faktor 10 erhöht. Es hatte 1,5 Milliarden Parameter und wurde mit einem Datensatz von 8 Millionen Webseiten trainiert.
Im Februar 2020 stellte Microsoft sein Turing Natural Language Generation (T-NLG) vor, von dem es behauptete, es sei das „größte jemals veröffentlichte Sprachmodell mit 17 Milliarden Parametern". Es übertraf alle anderen Sprachmodelle bei einer Vielzahl von Aufgaben, einschließlich der Zusammenfassung von Texten und der Beantwortung von Fragen.
Training und Fähigkeiten
Das Papier beschrieb den Trainingsprozess für GPT-3 detailliert. Sechzig Prozent des gewichteten Vortrainingsdatensatzes für GPT-3 stammen aus einer gefilterten Version von Common Crawl, bestehend aus 410 Milliarden Byte-Paar-codierten Tokens. Für die Fuzzy-Deduplizierung wurde Apache Sparks MinHashLSH verwendet. Weitere Quellen sind 19 Milliarden Tokens von WebText2, die 22 % der gewichteten Gesamtmenge ausmachen, 12 Milliarden Tokens von Books1 (8 %), 55 Milliarden Tokens von Books2 (8 %) und 3 Milliarden Tokens von Wikipedia (3 %). GPT-3 wurde mit Hunderten von Milliarden Wörtern trainiert und ist unter anderem auch in der Lage, in CSS, JSX und Python zu programmieren.
Lambdalabs schätzte im Jahr 2020 hypothetische Kosten von rund 4,6 Millionen US-Dollar und 355 Jahren, um GPT-3 auf einer einzelnen GPU zu trainieren, wobei die tatsächliche Trainingszeit durch die parallele Verwendung mehrerer GPUs kürzer ausfiel. Die Größe des Modells und die Trainingsdaten waren entscheidend für seine Leistung und ermöglichten es, viele Aufgaben ohne Feinabstimmung zu bewältigen. Das Papier betonte, dass GPT-3 durch Few-Shot-Learning, bei dem dem Modell einige Beispiele im Prompt gegeben werden, starke Ergebnisse bei Aufgaben wie Übersetzung, Beantwortung von Fragen und Lückentextaufgaben erzielen konnte.
Fähigkeiten und Grenzen
Da die Trainingsdaten von GPT-3 allumfassend waren, ist kein weiteres Training für verschiedene Sprachaufgaben erforderlich. Die Trainingsdaten enthalten gelegentlich toxische Sprache, und GPT-3 erzeugt gelegentlich toxische Sprache, da es seine Trainingsdaten nachahmt. Eine Studie der University of Washington ergab, dass GPT-3 toxische Sprache auf einem Toxizitätsniveau erzeugte, das mit den ähnlichen natürlichen Sprachverarbeitungsmodellen von GPT-2 und CTRL vergleichbar war. OpenAI hat mehrere Strategien implementiert, um die Menge an toxischer Sprache zu begrenzen, die von GPT-3 erzeugt wird. Infolgedessen erzeugte GPT-3 im Vergleich zu seinem Vorgängermodell GPT-1 weniger toxische Sprache, obwohl es im Vergleich zu CTRL Wiki, einem Sprachmodell, das vollständig mit Wikipedia-Daten trainiert wurde, sowohl mehr Generationen als auch eine höhere Toxizität toxischer Sprache erzeugte.
Da GPT-3 in der Lage ist, "Nachrichtenartikel zu generieren, die menschliche Bewerter nur schwer von Artikeln unterscheiden können, die von Menschen geschrieben wurden", hat GPT-3 das "Potenzial, sowohl die nützlichen als auch die schädlichen Anwendungen von Sprachmodellen voranzutreiben". In ihrem Papier vom 28. Mai 2020 beschrieben die Forscher detailliert die potenziellen "schädlichen Auswirkungen von GPT-3", darunter "Fehlinformationen, Spam, Phishing, Missbrauch von rechtlichen und staatlichen Verfahren, betrügerische" Aktivitäten und mehr. Das Papier wies auch auf Einschränkungen hin, wie die Tendenz des Modells, sich zu wiederholen, übermäßig wortreich zu sein und Probleme mit physischem Denken zu haben.
Veröffentlichung und Zugang
Am 11. Juni 2020 kündigte OpenAI an, dass Benutzer Zugang zu seiner benutzerfreundlichen GPT-3-API anfordern können - einem "Werkzeugsatz für maschinelles Lernen" - um OpenAI zu helfen, "die Stärken und Grenzen" dieser neuen Technologie zu erkunden. Die Einladung beschrieb, wie diese API eine allgemeine "Text rein, Text raus"-Schnittstelle hatte, die fast "jede englische Sprachaufgabe" erledigen kann, anstatt des üblichen Einzelanwendungsfalls. Laut einem Benutzer, der Zugang zu einer privaten frühen Version der OpenAI-GPT-3-API hatte, war GPT-3 "unheimlich gut" darin, "erstaunlich kohärente Texte" mit nur wenigen einfachen Aufforderungen zu schreiben. In einem ersten Experiment wurden 80 US-amerikanische Teilnehmer gebeten zu beurteilen, ob kurze Artikel von etwa 200 Wörtern von Menschen oder von GPT-3 geschrieben wurden. Die Teilnehmer urteilten in 52 % der Fälle richtig und lagen damit nur geringfügig über dem Zufallsniveau.
Am 22. September 2020 gab Microsoft bekannt, dass es GPT-3 exklusiv lizenziert hat. Andere können weiterhin Ausgaben über die öffentliche API erhalten, aber nur Microsoft hat Zugriff auf das zugrunde liegende Modell. Am 18. November 2021 gab OpenAI bekannt, dass genügend Sicherheitsvorkehrungen implementiert worden seien, sodass der Zugriff auf seine API uneingeschränkt erfolgen könne. OpenAI stellte Entwicklern ein Inhaltsmoderationswerkzeug zur Verfügung, das ihnen hilft, sich an die Inhaltsrichtlinien von OpenAI zu halten. Am 27. Januar 2022 gab OpenAI bekannt, dass seine neuesten GPT-3-Sprachmodelle (zusammen als InstructGPT bezeichnet) nun das Standard-Sprachmodell seien, das in ihrer API verwendet wird. Laut OpenAI erzeugte InstructGPT Inhalte, die besser auf die Absichten der Nutzer abgestimmt waren, indem es Anweisungen besser befolgte, weniger erfundene Fakten erzeugte und etwas weniger toxische Inhalte produzierte.
Auswirkungen
Das GPT-3-Papier hatte erhebliche Auswirkungen auf das Gebiet der künstlichen Intelligenz und der generativen KI. Es zeigte, dass die Skalierung von Modellgröße und Daten zu dramatischen Verbesserungen beim Few-Shot-Lernen führen kann, was den Forschungsschwerpunkt auf größere Modelle verlagerte. Dies beeinflusste nachfolgende Arbeiten bei OpenAI und anderen Organisationen wie Google DeepMind und Anthropic. Das Papier löste auch Diskussionen über die ethischen Implikationen großer Sprachmodelle aus, einschließlich möglichem Missbrauch für Desinformation und der Umweltkosten des Trainings solcher Modelle. Der Erfolg von GPT-3 ebnete den Weg für spätere Modelle mit noch mehr Parametern, wie GPT-4, und trug zur breiteren Übernahme von Transformer-basierten Architekturen in der Verarbeitung natürlicher Sprache bei.