Generative Pre-trained Transformer 4 (GPT-4) ist ein großes Sprachmodell, das von OpenAI entwickelt wurde und das vierte in seiner Reihe von GPT-Basismodellen ist. Es wurde am 14. März 2023 veröffentlicht und folgte auf GPT-3.5 und ging GPT-5 voraus. GPT-4 ist ein multimodales Modell, das sowohl Text als auch Bilder als Eingabe verarbeiten kann, ein bedeutender Fortschritt gegenüber seinen Vorgängern. OpenAI hat technische Details zu GPT-4 nicht öffentlich bekannt gegeben, einschließlich der genauen Größe des Modells, seiner Architektur oder der für das Training verwendeten Hardware.
GPT-4 wurde im Februar 2023 in Microsofts Bing Chat integriert, vor seiner offiziellen Veröffentlichung in ChatGPT im darauffolgenden Monat. Es wurde 2025 aus ChatGPT entfernt, bleibt jedoch über die API von OpenAI zugänglich. Die Fähigkeiten und Einschränkungen des Modells waren Gegenstand umfangreicher Forschung und öffentlicher Diskussion.
Hintergrund
OpenAI führte 2018 das erste GPT-Modell ein, das auf der Transformer-Architektur basierte und mit einem großen Korpus von Büchern trainiert wurde. Im folgenden Jahr zeigte GPT-2 die Fähigkeit, in größerem Maßstab kohärenten Text zu erzeugen. 2020 wurde GPT-3 mit über 100-mal so vielen Parametern wie GPT-2 veröffentlicht und später zu GPT-3.5 verfeinert, das den ChatGPT-Chatbot antrieb. GPT-4 baute auf dieser Linie auf und fügte multimodale Eingabeverarbeitung sowie verbesserte Leistung bei verschiedenen Benchmarks hinzu.
Fähigkeiten
Die Standardversion von GPT-4 verfügte über ein 8K-Kontextfenster, mit einer speziellen API-Version, die bis zu 32K Token unterstützte. Im Gegensatz zu früheren Modellen konnte GPT-4 Bilder als Eingabe akzeptieren, sodass Benutzer Fotos zur Analyse hochladen oder Fragen zu visuellen Inhalten stellen konnten. Das Modell konnte auch dazu aufgefordert werden, mit externen Schnittstellen zu interagieren, beispielsweise durch das Durchführen von Websuchen, indem Abfragen in bestimmte Tags eingeschlossen wurden, was Aufgaben wie API-Aufrufe, Bildgenerierung und Zusammenfassung von Webseiten ermöglichte.
Ein Artikel in Nature aus dem Jahr 2023 hob den Nutzen von GPT-4 bei der Programmierunterstützung hervor, trotz seiner Neigung zu Fehlern. Programmierer fanden es hilfreich, um Fehler zu identifizieren und Optimierungen vorzuschlagen; ein Biophysiker berichtete, dass die Zeit zum Portieren eines Programms von MATLAB nach Python von Tagen auf etwa eine Stunde reduziert wurde. In Sicherheitstests erzeugte GPT-4 in 5 % der Fälle Code, der anfällig für SQL-Injection-Angriffe war, verglichen mit 40 % bei GitHub Copilot im Jahr 2021.
Im November 2023 kündigte OpenAI GPT-4 Turbo und GPT-4 Turbo mit Vision an, die ein 128K-Kontextfenster und niedrigere Preise boten.
Leistung bei standardisierten Tests
Studien zur Leistung von GPT-4 bei standardisierten Tests haben gemischte Ergebnisse erzielt. Bei den Torrance Tests of Creative Thinking erzielte GPT-4 bei Originalität und Flüssigkeit Werte im obersten 1 %, mit Flexibilitätswerten zwischen dem 93. und 99. Perzentil.
Medizinische Anwendungen
Forscher von Microsoft testeten GPT-4 an medizinischen Problemen und stellten fest, dass es die Bestehensgrenze des USMLE um über 20 Punkte übertraf und damit GPT-3.5 sowie auf medizinisches Wissen feinabgestimmte Modelle wie Med-PaLM übertraf. Der Bericht warnte jedoch vor erheblichen Risiken bei der Verwendung großer Sprachmodelle für medizinische Anwendungen und verwies auf mögliche Ungenauigkeiten und Halluzinationen. Im April 2023 kündigten Microsoft und Epic Systems Pläne an, GPT-4-gestützte Systeme für Patientenanfragen und die Analyse von Krankenakten bereitzustellen.
GPT-4o
Am 13. Mai 2024 führte OpenAI GPT-4o („o" für „omni") ein, einen Nachfolger, der Text-, Audio- und Bildmodalitäten in Echtzeit verarbeitet und erzeugt. GPT-4o bot schnelle Antwortzeiten, die mit menschlicher Konversation vergleichbar waren, verbesserte Leistung bei nicht-englischen Sprachen und war für Benutzer der kostenlosen Stufe verfügbar, im Gegensatz zu GPT-4.
Einschränkungen
GPT-4 neigt, wie seine Vorgänger, bekanntermaßen zu Halluzinationen und erzeugt Ausgaben, die Informationen enthalten, die nicht in seinen Trainingsdaten vorhanden sind oder Benutzeraufforderungen widersprechen. Es mangelt ihm auch an Transparenz bei der Entscheidungsfindung; Erklärungen seiner Argumentation werden nachträglich gebildet und können nicht als genau verifiziert werden. In vielen Fällen widersprechen diese Erklärungen direkt früheren Aussagen.
Im Jahr 2023 testeten Forscher GPT-4 auf ConceptARC, einem Benchmark für abstraktes Denken, und stellten fest, dass es in allen Kategorien unter 33 % abschnitt, während spezialisierte Modelle in den meisten Kategorien 60 % erreichten und Menschen mindestens 91 % erzielten. Sam Bowman, der nicht an der Forschung beteiligt war, merkte an, dass die Ergebnisse möglicherweise nicht auf einen Mangel an abstraktem Denken hindeuten, da der Test visuell ist, während GPT-4 ein Sprachmodell ist.
Verzerrung
GPT-4 wurde in zwei Phasen trainiert: erstens auf großen Internet-Textdatensätzen, um das nächste Token vorherzusagen; zweitens unter Verwendung von Verstärkungslernen aus menschlichem Feedback, um das Verhalten feinabzustimmen und schädliche Aufforderungen abzulehnen. Microsoft-Forscher deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Ankereffekt und Vernachlässigung der Basisrate aufweisen könnte.
Training
OpenAI veröffentlichte keine technischen Details zum Training von GPT-4. Der technische Bericht verzichtete darauf, Modellgröße, Architektur oder Hardware zu spezifizieren, und verwies auf wettbewerbliche und sicherheitsrelevante Auswirkungen. Er beschrieb eine Kombination aus überwachtem Lernen und Verstärkungslernen mit menschlichem und KI-Feedback, ließ jedoch Details zur Datensatzkonstruktion, Rechenleistung und Hyperparametern aus. Sam Altman gab an, dass die Trainingskosten über 100 Millionen US-Dollar betrugen.