GPT-4 ist ein großes Sprachmodell, das von OpenAI entwickelt und am 14. März 2023 als viertes Modell seiner GPT-Foundation-Modellreihe veröffentlicht wurde. Es ist ein multimodales Modell, das sowohl Text als auch Bilder als Eingabe akzeptiert und für seine starke Leistung bei verschiedenen Benchmarks bekannt ist, darunter standardisierte Tests und Programmieraufgaben. OpenAI hat technische Details wie Modellgröße, Architektur oder Trainingshardware nicht offengelegt und beruft sich dabei auf Wettbewerbs- und Sicherheitsbedenken. GPT-4 geht GPT-3.5 voraus und wird von GPT-5 abgelöst; eine Version namens GPT-4V verarbeitet Bildeingaben, und das spätere Modell GPT-4o (Mai 2024) erweitert die Funktionen um Echtzeit-Audio- und Videoverarbeitung. GPT-4 wurde im Februar 2023 in Microsofts Bing Chat integriert, im März 2023 in ChatGPT veröffentlicht und 2025 aus ChatGPT entfernt, bleibt jedoch über die API von OpenAI verfügbar.
Hintergrund und Entwicklung
OpenAI stellte 2018 das erste GPT-Modell vor, das auf der Transformer-Architektur basierte und mit Buchkorpora für Sprachverständnis trainiert wurde. GPT-2 (2019) war ein größeres Modell, das kohärenten Text erzeugen konnte, und GPT-3 (2020) skalierte die Parameter um mehr als das 100-fache im Vergleich zu GPT-2. GPT-3.5 betrieb den Ende 2022 gestarteten ChatGPT-Chatbot. GPT-4 baute auf dieser Linie auf und integrierte Verbesserungen beim multimodalen Lernen, Verstärkungslernen und Sicherheitsausrichtung. Eine frühe Version wurde ab Februar 2023 in Bing Chat getestet, was Microsoft-Nutzern frühen Zugang vor der öffentlichen Veröffentlichung verschaffte.
Fähigkeiten und Funktionen
Das Standardmodell GPT-4 hatte einen Kontextfenster von 8K Token, mit einer speziellen API-Version, die bis zu 32K Token unterstützte. Anders als seine Vorgänger konnte es Bilder verarbeiten, sodass Nutzer Fotos zur Analyse oder für Fragen hochladen konnten. Das Modell konnte dazu aufgefordert werden, mit externen Tools zu interagieren, wie Websuchen mithilfe von <search>-Tags, wodurch es Echtzeitinformationen abrufen und Aufgaben über die Textvorhersage hinaus ausführen konnte, einschließlich API-Aufrufen und Bildgenerierung. Im November 2023 kündigte OpenAI GPT-4 Turbo und GPT-4 Turbo mit Vision an, die ein 128K-Kontextfenster zu geringeren Kosten boten.
Leistung bei standardisierten Tests
GPT-4 zeigte hohe Begabung bei verschiedenen Prüfungen. Im Torrance Tests of Creative Thinking erzielte es die besten 1 % bei Originalität und Flüssigkeit, mit Flexibilitätswerten zwischen dem 93. und 99. Perzentil. Forscher bei Microsoft stellten fest, dass GPT-4 die Bestehensgrenze der USMLE um über 20 Punkte übertraf und damit GPT-3.5 sowie spezialisierte medizinische Modelle wie Med-PaLM übertraf, ohne jegliches Prompt-Engineering. Dieselbe Studie warnte jedoch vor erheblichen Risiken bei medizinischen Anwendungen aufgrund möglicher Ungenauigkeiten und Halluzinationen.
Anwendungen und Auswirkungen
Ein Nature-Artikel von 2023 hob die Nützlichkeit von GPT-4 beim Programmieren hervor, etwa beim Debuggen und Optimieren. Ein Biophysiker berichtete, dass die Portierung eines MATLAB-Programms nach Python Stunden statt Tage dauerte. Bei Sicherheitstests erzeugte GPT-4 in 5 % der Fälle Code mit SQL-Injection-Schwachstellen, verglichen mit 40 % bei GitHub Copilot im Jahr 2021. Im Gesundheitswesen kündigten Microsoft und Epic Systems im April 2023 Pläne an, GPT-4 für Patientenantworten und die Analyse medizinischer Aufzeichnungen zu nutzen, wobei jedoch Vorsicht empfohlen wurde.
Einschränkungen und Risiken
GPT-4 neigt bekanntermaßen zu Halluzinationen und erzeugt Ausgaben, die nicht auf Trainingsdaten basieren oder Benutzeranweisungen widersprechen. Seine Entscheidungsfindung ist undurchsichtig; Erklärungen werden nachträglich generiert und können früheren Aussagen widersprechen. Im Jahr 2023 zeigte der ConceptARC-Benchmark, dass GPT-4 bei abstrakten Denkaufgaben unter 33 % lag, während spezialisierte Modelle und Menschen höhere Werte erzielten, obwohl Skeptiker anmerkten, dass die visuelle Natur des Tests ein Sprachmodell benachteiligen könnte.
Verzerrung und Ausrichtung
Das Training von GPT-4 umfasste zwei Phasen: anfängliches unüberwachtes Lernen an Internettexten, gefolgt von Verstärkungslernen durch menschliches Feedback, um schädliche Ausgaben zu reduzieren. Microsoft-Forscher deuteten an, dass es kognitive Verzerrungen wie Bestätigungsfehler, Ankereffekte und Basisratenvernachlässigung aufweisen könnte, was Bedenken hinsichtlich Fairness bei der Bereitstellung aufwirft.
Training und technische Geheimhaltung
Der technische Bericht von OpenAI zu GPT-4 ließ Modellgröße, Architektur, Hardware, die Konstruktion des Trainingsdatensatzes, Rechenleistung und Hyperparameter wie Lernrate oder Optimierer aus. Das Unternehmen nannte „Wettbewerbslandschaft und Sicherheitsimplikationen“ als Gründe. CEO Sam Altman erklärte, die Trainingskosten hätten 100 Millionen US-Dollar überschritten, wobei Berichte von Semafor auf höhere Zahlen hindeuteten, obwohl genaue Beträge unbestätigt bleiben.
Nachfolger und Entwicklung
GPT-4o, eingeführt am 13. Mai 2024, verarbeitet Text, Audio und Bilder in Echtzeit mit menschenähnlichen Reaktionszeiten. Es verbesserte die Leistung bei nicht-englischen Sprachen und war für Nutzer der kostenlosen Stufe verfügbar, anders als GPT-4. GPT-4V, früher gestartet, fügte GPT-4 speziell Bildeingaben hinzu. Das Vermächtnis des Modells umfasst die Förderung multimodaler KI und die Anregung von Debatten über Transparenz und Sicherheit bei großen Sprachmodellen.