GPT-4 ist ein großes Sprachmodell, das von OpenAI entwickelt wurde und am 14. März 2023 als vierte Generation seiner GPT-Foundation-Modellreihe veröffentlicht wurde. Es folgte auf GPT-3.5 und wurde von GPT-5 abgelöst. Im Gegensatz zu seinen Vorgängern ist GPT-4 ein multimodales Modell, das sowohl Text- als auch Bildeingaben verarbeiten kann. OpenAI gab keine technischen Details wie Modellgröße, Architektur oder Trainingshardware bekannt und nannte dafür Wettbewerbs- und Sicherheitsbedenken. GPT-4 war zunächst für ChatGPT-Plus-Abonnenten verfügbar und später über die OpenAI-API, mit einer Version, die bis zu 32.000 Token Kontext unterstützte. Im Mai 2024 führte OpenAI GPT-4o ein, einen Nachfolger mit Echtzeit-Audio- und Bildfunktionen, der auch für Nutzer der kostenlosen Stufe verfügbar gemacht wurde.
Hintergrund
OpenAI führte das erste GPT-Modell im Jahr 2018 ein, basierend auf der Transformer-Architektur und trainiert auf einem großen Korpus von Büchern. Im folgenden Jahr zeigte GPT-2 die Fähigkeit, kohärenten Text in großem Maßstab zu erzeugen. Im Jahr 2020 wurde GPT-3 mit über 100-mal so vielen Parametern wie GPT-2 veröffentlicht, und weitere Verfeinerungen führten zu GPT-3.5, das den ChatGPT-Chatbot antrieb. GPT-4 baute auf dieser Linie auf und integrierte multimodale Eingaben sowie fortschrittlichere Trainingstechniken.
Fähigkeiten
Die Standardversion von GPT-4 hatte ein Kontextfenster von 8K, während eine spezielle API-Version bis zu 32K Token unterstützte. Als multimodales Modell konnte es Bilder als Eingabe akzeptieren, sodass Nutzer Fotos hochladen und Vorschläge oder Antworten basierend auf dem visuellen Inhalt erhalten konnten. GPT-4 konnte auch dazu aufgefordert werden, mit externen Schnittstellen zu interagieren, beispielsweise indem eine Abfrage in <search></search>-Tags eingeschlossen wurde, um eine Websuche durchzuführen, wobei die Ergebnisse in den Prompt des Modells eingefügt wurden, um eine Antwort zu bilden. Dies ermöglichte es dem Modell, APIs zu nutzen, Bilder zu generieren und Webseiten zusammenzufassen.
Ein Artikel in Nature aus dem Jahr 2023 berichtete, dass Programmierer GPT-4 als nützlich für Programmieraufgaben empfanden, etwa zum Identifizieren von Fehlern und Vorschlagen von Optimierungen, trotz seiner Neigung zu Fehlern. Ein in dem Artikel zitierter Biophysiker merkte an, dass das Portieren eines Programms von MATLAB nach Python „etwa eine Stunde" dauerte, statt Tage. Bei einem Test mit 89 Sicherheitsszenarien erzeugte GPT-4 in 5 % der Fälle Code, der anfällig für SQL-Injection-Angriffe war, verglichen mit 40 % bei GitHub Copilot aus dem Jahr 2021.
Im November 2023 kündigte OpenAI GPT-4 Turbo und GPT-4 Turbo mit Vision an, mit einem Kontextfenster von 128K und deutlich niedrigeren Preisen.
Leistungsfähigkeit bei standardisierten Tests
Studien haben die Zuverlässigkeit von Chatbots bei standardisierten Tests infrage gestellt. Im Torrance-Test für kreatives Denken erzielte GPT-4 bei Originalität und Flüssigkeit Werte im obersten 1 %, mit Flexibilitätswerten zwischen dem 93. und 99. Perzentil.
Medizinische Anwendungen
Forscher von Microsoft testeten GPT-4 an medizinischen Problemen und stellten fest, dass es ohne spezielle Prompt-Erstellung die Bestehensgrenze der USMLE um über 20 Punkte übertraf und damit frühere allgemeine Modelle wie GPT-3.5 sowie speziell auf medizinisches Wissen abgestimmte Modelle wie Med-PaLM übertraf. Der Bericht warnte jedoch vor „erheblichen Risiken" bei der Verwendung großer Sprachmodelle für medizinische Anwendungen, einschließlich ungenauer Empfehlungen und halluzinierter sachlicher Fehler. Im April 2023 kündigten Microsoft und Epic Systems Pläne an, Gesundheitsdienstleistern GPT-4-gestützte Systeme zur Beantwortung von Patientenfragen und zur Analyse von Krankenakten bereitzustellen.
GPT-4o
Am 13. Mai 2024 führte OpenAI GPT-4o („o" für „omni") ein, einen Nachfolger von GPT-4, der Text-, Audio- und Bildmodalitäten in Echtzeit verarbeitet und generiert. GPT-4o zeigte schnelle Reaktionszeiten, die mit menschlicher Konversation vergleichbar waren, verbesserte Leistung bei nicht-englischen Sprachen sowie erweiterte Bild- und Audioverständnisfähigkeiten. Im Gegensatz zu GPT-4 war es für Nutzer der kostenlosen Stufe verfügbar.
Einschränkungen
Wie seine Vorgänger neigt GPT-4 zu Halluzinationen und erzeugt Ausgaben, die Informationen enthalten können, die nicht in seinen Trainingsdaten vorhanden sind oder dem Prompt des Nutzers widersprechen. Es mangelt ihm auch an Transparenz bei der Entscheidungsfindung; wenn es gebeten wird, seine Logik zu erklären, liefert GPT-4 post-hoc-Erklärungen, die möglicherweise nicht den tatsächlichen Prozess widerspiegeln, und in vielen Fällen widersprechen diese Erklärungen direkt früheren Aussagen.
Im Jahr 2023 testeten Forscher GPT-4 gegen den ConceptARC-Benchmark, der zur Messung abstrakten Denkens entwickelt wurde, und stellten fest, dass es in allen Kategorien unter 33 % abschnitt, während spezialisierte Modelle in den meisten Kategorien 60 % erreichten und Menschen mindestens 91 % erzielten. Sam Bowman, der nicht an der Forschung beteiligt war, vermutete, dass die Ergebnisse möglicherweise nicht auf einen Mangel an abstraktem Denken hindeuten, da der Test visuell ist, während GPT-4 ein Sprachmodell ist.
Verzerrung
GPT-4 wurde in zwei Phasen trainiert. Zuerst wurde es auf großen Internet-Textdatensätzen trainiert, um das nächste Token vorherzusagen. Zweitens wurde menschliches Feedback verwendet, um das System durch Verstärkungslernen aus menschlichem Feedback zu verfeinern, wobei das Modell darauf trainiert wurde, Prompts abzulehnen, die gegen OpenAIs Definition von schädlichem Verhalten verstoßen, wie illegale Aktivitäten, Selbstverletzung oder grafische Inhalte. Microsoft-Forscher deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Ankereffekte und Vernachlässigung der Basisrate aufweisen könnte.
Training
OpenAI veröffentlichte keine technischen Details zum Training von GPT-4. Der technische Bericht verzichtete auf Angaben zu Modellgröße, Architektur oder verwendeter Hardware. Er beschrieb eine Kombination aus überwachtem Lernen auf einem großen Datensatz, gefolgt von Verstärkungslernen mit menschlichem und KI-Feedback, gab jedoch keine Details zur Datensatzkonstruktion, Rechenleistung oder Hyperparametern wie Lernrate, Epochenanzahl oder Optimierern an. Der Bericht nannte „die Wettbewerbslandschaft und die Sicherheitsimplikationen groß angelegter Modelle" als Gründe für diese Entscheidung. Sam Altman erklärte, dass die Kosten für das Training von GPT-4 über 100 Millionen US-Dollar lagen, wie von Semafor berichtet.
Rezeption und Auswirkungen
Die Veröffentlichung von GPT-4 erregte erhebliche Aufmerksamkeit in der KI-Gemeinschaft und darüber hinaus. Seine multimodalen Fähigkeiten und die verbesserte Leistung bei Benchmarks, einschließlich standardisierter Tests und medizinischer Prüfungen, wurden breit diskutiert. Bedenken hinsichtlich Halluzinationen, Verzerrung und mangelnder Transparenz blieben jedoch bestehen. Die Integration einer frühen Version in Bing Chat im Februar 2023, vor der offiziellen Veröffentlichung, zog ebenfalls Kritik auf sich. GPT-4 blieb in der OpenAI-API verfügbar, auch nachdem es 2025 aus ChatGPT entfernt wurde, und sein Nachfolger GPT-4o entwickelte die Fähigkeiten des Modells weiter.