GPT-4 ist ein großes Sprachmodell, das von OpenAI entwickelt und am 14. März 2023 als viertes Modell der Generative-Pre-trained-Transformer-Reihe veröffentlicht wurde. Im Gegensatz zu seinen Vorgängern ist GPT-4 ein multimodales Modell, das sowohl Bild- als auch Texteingaben akzeptiert und es ihm ermöglicht, visuelle Informationen neben geschriebener Sprache zu verarbeiten. Diese Fähigkeit stellte einen bedeutenden Meilenstein in der Forschung zu künstlicher Intelligenz dar und erweiterte die potenziellen Anwendungen von großen Sprachmodellen über reine Textinteraktionen hinaus. GPT-4 folgte auf GPT-3.5 und wurde von GPT-5 abgelöst; es wurde in ChatGPT und später in die OpenAI-API integriert, wobei eine Version namens GPT-4V speziell für die Bildverarbeitung entwickelt wurde.
OpenAI hat technische Details zu GPT-4, wie die genaue Modellgröße, Architektur oder Trainingshardware, nicht öffentlich bekannt gegeben. Der technische Bericht verzichtete ausdrücklich auf die Angabe dieser Parameter und nannte Wettbewerbs- und Sicherheitserwägungen als Gründe. Diese mangelnde Transparenz stand im Gegensatz zu früheren Modellen wie GPT-3, für die mehr Informationen verfügbar waren. Trotzdem wurden die Fähigkeiten von GPT-4 durch verschiedene Benchmarks und reale Anwendungen demonstriert, darunter standardisierte Tests und die Beantwortung medizinischer Fragen.
Hintergrund
OpenAI führte 2018 das erste GPT-Modell (GPT-1) ein, das auf der Transformer-Architektur basierte und mit einem großen Korpus von Büchern trainiert wurde. Im folgenden Jahr wurde GPT-2 veröffentlicht, ein größeres Modell, das in der Lage war, kohärenten Text zu erzeugen. 2020 kam GPT-3 mit über 100-mal so vielen Parametern wie GPT-2 auf den Markt und trieb das Feld weiter voran. GPT-3 wurde zu GPT-3.5 verfeinert, das das Chatbot-Produkt ChatGPT antrieb, das im November 2022 gestartet wurde. Der Erfolg von ChatGPT verdeutlichte das Potenzial großer Sprachmodelle und bereitete die Bühne für die Entwicklung von GPT-4.
Fähigkeiten
Die Standardversion von GPT-4 verfügte über einen Kontextfenster von 8K, wobei eine spezielle API-Version bis zu 32K Token unterstützte. Als multimodales Modell konnte es Bilder und Texte verarbeiten, sodass Benutzer Fotos hochladen und Vorschläge oder Antworten auf der Grundlage des visuellen Inhalts erhalten konnten. Diese Fähigkeit war eine Abkehr von den rein textbasierten Vorgängern und eröffnete neue Wege für die Interaktion.
GPT-4 konnte auch dazu aufgefordert werden, mit externen Schnittstellen zu interagieren. Beispielsweise konnte das Modell angewiesen werden, eine Abfrage in <search></search>-Tags einzuschließen, um eine Websuche durchzuführen, wobei die Ergebnisse in die Eingabeaufforderung eingefügt wurden, um die Antworten zu informieren. Dies ermöglichte es GPT-4, Aufgaben über die Textvorhersage hinaus auszuführen, wie die Nutzung von APIs, das Generieren von Bildern und den Zugriff auf Webseiten.
Ein Artikel in Nature aus dem Jahr 2023 stellte fest, dass Programmierer GPT-4 als nützlich für Programmierhilfe empfanden, trotz seiner Neigung zu Fehlern. Es konnte helfen, Fehler in vorhandenem Code zu finden und Leistungsoptimierungen vorzuschlagen. Ein Biophysiker berichtete, dass das Portieren eines Programms von MATLAB zu Python, das zuvor Tage dauerte, mit Hilfe von GPT-4 auf „etwa eine Stunde" reduziert wurde. Bei einem Test mit 89 Sicherheitsszenarien erzeugte GPT-4 in 5 % der Fälle Code, der anfällig für SQL-Injection-Angriffe war, eine deutliche Verbesserung gegenüber GitHub Copilot aus dem Jahr 2021, das eine Schwachstellenrate von 40 % aufwies.
Im November 2023 kündigte OpenAI GPT-4 Turbo und GPT-4 Turbo mit Vision an, die über ein 128K-Kontextfenster und deutlich niedrigere Preise verfügten.
Leistungsfähigkeit bei standardisierten Tests
Studien haben die Zuverlässigkeit der Verwendung von Chatbots für standardisierte Tests diskutiert. Bei den Torrance-Tests für kreatives Denken erzielte GPT-4 im obersten 1 % für Originalität und Flüssigkeit, wobei die Flexibilitätswerte zwischen dem 93. und 99. Perzentil lagen.
Medizinische Anwendungen
Forscher von Microsoft testeten GPT-4 an medizinischen Problemen und stellten fest, dass es ohne spezielle Aufforderungsgestaltung die Bestehensgrenze der USMLE um über 20 Punkte übertraf und damit frühere allgemeine Modelle wie GPT-3.5 sowie auf medizinisches Wissen spezialisierte Modelle wie Med-PaLM übertraf. Trotz dieser starken Leistung warnte der Bericht vor „erheblichen Risiken" bei der Verwendung großer Sprachmodelle für medizinische Anwendungen, einschließlich potenziell ungenauer Empfehlungen und halluzinierter sachlicher Fehler. Im April 2023 kündigten Microsoft und Epic Systems Pläne an, Gesundheitsdienstleistern GPT-4-gestützte Systeme zur Beantwortung von Patientenfragen und zur Analyse von Krankenakten bereitzustellen.
GPT-4o
Am 13. Mai 2024 führte OpenAI GPT-4o („o" für „omni") ein, einen Nachfolger von GPT-4, der Ausgaben in Echtzeit über Text-, Audio- und Bildmodalitäten verarbeitet und generiert. GPT-4o zeigte schnelle Reaktionszeiten, die mit menschlicher Konversation vergleichbar waren, verbesserte Leistung bei nicht-englischen Sprachen und ein erweitertes Verständnis von Bild und Audio. Es war auch für Benutzer der kostenlosen Stufe verfügbar, anders als GPT-4.
Einschränkungen
Wie seine Vorgänger ist bekannt, dass GPT-4 halluziniert und Ausgaben erzeugt, die Informationen enthalten können, die nicht in seinen Trainingsdaten enthalten sind oder die der Benutzeraufforderung widersprechen. Diese Einschränkung stellt Herausforderungen für Anwendungen dar, die eine hohe Zuverlässigkeit erfordern.
GPT-4 mangelt es auch an Transparenz in seinen Entscheidungsprozessen. Obwohl es Erklärungen für seine Entscheidungen liefern kann, werden diese Erklärungen im Nachhinein gebildet, und es ist unmöglich zu überprüfen, ob sie den tatsächlichen Prozess widerspiegeln. In vielen Fällen, wenn es gebeten wird, seine Logik zu erklären, gibt GPT-4 Erklärungen, die direkt seinen früheren Aussagen widersprechen.
Im Jahr 2023 testeten Forscher GPT-4 gegen ConceptARC, einen Benchmark zur Messung des abstrakten Denkens, und stellten fest, dass es in allen Kategorien unter 33 % abschnitt, während spezialisierte Modelle in den meisten Kategorien 60 % erreichten und Menschen in allen Kategorien mindestens 91 % erzielten. Sam Bowman, der nicht an der Forschung beteiligt war, deutete an, dass die Ergebnisse möglicherweise nicht auf einen Mangel an abstraktem Denken hindeuten, da der Test visuell ist, während GPT-4 ein Sprachmodell ist.
Verzerrung
GPT-4 wurde in zwei Phasen trainiert. Zuerst wurde es mit großen Internet-Textdatensätzen trainiert, um das nächste Token vorherzusagen. Zweitens verwendeten menschliche Prüfer Reinforcement Learning aus menschlichem Feedback, um das System zu verfeinern und es zu trainieren, Aufforderungen abzulehnen, die gegen OpenAIs Definition von schädlichem Verhalten verstoßen, wie illegale Aktivitäten, Selbsthilfe-Ratschläge oder Anfragen nach grafischen Inhalten. Microsoft-Forscher deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Verankerung und Vernachlässigung der Basisrate aufweisen könnte.
Training
OpenAI veröffentlichte keine technischen Details zum Training von GPT-4. Der technische Bericht verzichtete auf die Angabe von Modellgröße, Architektur oder verwendeter Hardware. Er beschrieb das Training mit überwachtem Lernen an einem großen Datensatz, gefolgt von Reinforcement Learning mit menschlichem und KI-Feedback, ließ jedoch Details zur Datensatzkonstruktion, Rechenleistung und Hyperparametern aus. Der Bericht nannte „die Wettbewerbslandschaft und die Sicherheitsimplikationen groß angelegter Modelle" als Gründe für diese Entscheidung.
Sam Altman erklärte, dass die Kosten für das Training von GPT-4 mehr als 100 Millionen US-Dollar betrugen. Diese erhebliche Investition spiegelte den Umfang des Modells und die für seine Entwicklung erforderlichen Ressourcen wider.
Rezeption und Auswirkungen
Die Veröffentlichung von GPT-4 erzeugte erhebliches Interesse in der KI-Gemeinschaft und darüber hinaus und hob den raschen Fortschritt in der generativen KI hervor. Seine multimodalen Fähigkeiten setzten einen neuen Standard und beeinflussten nachfolgende Modelle wie GPT-4o und Googles Gemini. Die Integration von GPT-4 in Microsofts Bing Chat im Februar 2023 demonstrierte praktische Anwendungen in der Suche und konversationellen KI.
GPT-4s Leistung bei standardisierten Tests und Berufsprüfungen, wie der USMLE, löste Diskussionen über das Potenzial von KI in Bildung und Gesundheitswesen aus. Bedenken hinsichtlich Verzerrung, Halluzination und Transparenz blieben jedoch bestehen und führten zu Forderungen nach einer verantwortungsvolleren KI-Entwicklung.
Vermächtnis
GPT-4 wurde im März 2023 in ChatGPT veröffentlicht und blieb bis 2025 verfügbar, als es entfernt wurde. Es wurde auch am 23. Oktober 2026 aus der OpenAI-API entfernt. Sein Nachfolger, GPT-5, setzte die Entwicklung der GPT-Serie fort. GPT-4s Einführung der multimodalen Eingabeverarbeitung markierte einen entscheidenden Moment in der KI und zeigte, dass große Sprachmodelle über Text hinausgehen und visuelle Informationen verstehen und darüber nachdenken können, was den Weg für vielseitigere und integriertere KI-Systeme ebnete.