GPT-4 (Generative Pre-trained Transformer 4) ist ein großes Sprachmodell, das von OpenAI entwickelt und am 14. März 2023 veröffentlicht wurde. Es ist das vierte Modell in OpenAIs GPT-Foundation-Modellreihe, das auf GPT-3.5 folgt und GPT-5 vorausgeht. Im Gegensatz zu seinen Vorgängern ist GPT-4 multimodal und kann sowohl Text- als auch Bildeingaben verarbeiten. OpenAI hat technische Details wie Modellgröße, Architektur oder Trainingshardware nicht offengelegt und beruft sich dabei auf Wettbewerbs- und Sicherheitsbedenken. Das Modell wurde im Februar 2023 in Microsofts Bing Chat integriert und war ab März 2023 in ChatGPT verfügbar, mit einer Entfernung aus ChatGPT im Jahr 2025. GPT-4 bleibt über die API von OpenAI zugänglich.
Hintergrund
OpenAI führte das erste GPT-Modell im Jahr 2018 ein, das auf der Transformer-Architektur basierte und mit einem großen Korpus von Büchern trainiert wurde. GPT-2 folgte 2019 und erzeugte kohärenten Text in großem Umfang. Im Jahr 2020 erweiterte GPT-3 die Parameter um mehr als das Hundertfache im Vergleich zu GPT-2, und weitere Verfeinerungen führten zu GPT-3.5, das den ChatGPT-Chatbot antrieb. GPT-4 baute auf dieser Linie mit erweiterten Fähigkeiten und multimodaler Eingabe auf.
Fähigkeiten
Die Standardversion von GPT-4 verfügte über ein 8K-Kontextfenster, wobei eine API-Variante bis zu 32K Tokens unterstützte. Seine multimodale Natur ermöglicht Bild- und Texteingaben, was Antworten auf Foto-Uploads und gesprochene Interaktionen ermöglicht. GPT-4 kann per Prompt dazu veranlasst werden, mit externen Schnittstellen zu interagieren, beispielsweise durch die Verwendung von Such-Tags für Webabfragen, die Integration von Ergebnissen in Antworten und die Ausführung von Aufgaben wie API-Aufrufen, Bildgenerierung und Webseiten-Zusammenfassungen.
Ein Nature-Artikel aus dem Jahr 2023 hob die Nützlichkeit von GPT-4 beim Programmieren hervor, trotz einer Neigung zu Fehlern. Ein Biophysiker berichtete, dass eine MATLAB-zu-Python-Portierung von Tagen auf etwa eine Stunde reduziert wurde. Bei Sicherheitstests über 89 Szenarien erzeugte GPT-4 in 5 % der Fälle Code mit SQL-Injection-Schwachstellen, verglichen mit 40 % bei GitHub Copilot im Jahr 2021. Im November 2023 kündigte OpenAI GPT-4 Turbo mit einem 128K-Kontextfenster und niedrigeren Preisen an.
Leistungsfähigkeit bei standardisierten Tests
Studien haben die Zuverlässigkeit der Testergebnisse von Chatbots in Frage gestellt. Beim Torrance-Test für kreatives Denken erreichte GPT-4 die obersten 1 % bei Originalität und Flüssigkeit, mit Flexibilitätswerten zwischen dem 93. und 99. Perzentil.
Medizinische Anwendungen
Forscher von Microsoft stellten fest, dass GPT-4 den Bestehenswert des USMLE um über 20 Punkte übertraf und damit GPT-3.5 sowie medizinisch feinabgestimmte Modelle wie Med-PaLM übertraf, ohne spezielle Prompt-Erstellung. Sie warnten jedoch vor erheblichen Risiken, einschließlich ungenauer Empfehlungen und halluzinierter Fakten. Im April 2023 kündigten Microsoft und Epic Systems GPT-4-gestützte Systeme für Patientenanfragen und die Analyse von Krankenakten an.
GPT-4o
Am 13. Mai 2024 führte OpenAI GPT-4o („o“ für „omni“) ein, das Text-, Audio- und Bildmodalitäten in Echtzeit verarbeitet. Es bot schnelle Antwortzeiten, verbesserte Leistung in nicht-englischen Sprachen und war im Gegensatz zu GPT-4 für Nutzer der kostenlosen Stufe verfügbar.
Einschränkungen
GPT-4 kann halluzinieren und Ausgaben erzeugen, die nicht in den Trainingsdaten enthalten sind oder den Prompts widersprechen. Seine Entscheidungsfindung ist nicht transparent; Erklärungen sind nachträglich und oft nicht verifizierbar, manchmal widersprechen sie früheren Aussagen. Im Jahr 2023 zeigten Tests am ConceptARC-Benchmark für abstraktes Denken, dass GPT-4 in allen Kategorien unter 33 % lag, während spezialisierte Modelle 60 % und Menschen mindestens 91 % erreichten. Sam Bowman merkte an, dass die visuelle Natur des Tests möglicherweise nicht das Denken von Sprachmodellen widerspiegelt.
Verzerrung
Das Training von GPT-4 umfasste zwei Phasen: unbeaufsichtigtes Vortraining mit Internettexten, gefolgt von Reinforcement Learning mit menschlichem Feedback (RLHF), um schädliche Prompts abzulehnen. Forscher von Microsoft deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Ankereffekte und Basisratenvernachlässigung aufweisen könnte.
Training
Der technische Bericht von OpenAI ließ Modellgröße, Architektur, Hardware, Datensatzkonstruktion, Rechenleistung und Hyperparameter aus. Das Training verwendete überwachtes Lernen und Reinforcement Learning mit menschlichem und KI-Feedback. Sam Altman erklärte, dass die Trainingskosten über 100 Millionen US-Dollar lagen, obwohl genaue Zahlen nicht offengelegt wurden.
Rezeption und Auswirkungen
GPT-4 setzte neue Maßstäbe in der KI und beeinflusste nachfolgende Modelle von Wettbewerbern wie Anthropic und Google DeepMind. Seine multimodalen Fähigkeiten erweiterten Anwendungen in generativer KI, von kreativen Werkzeugen bis zur medizinischen Diagnostik. Die Einschränkungen des Modells, einschließlich Halluzination und Verzerrung, lösten Debatten über KI-Sicherheit und Transparenz aus und förderten Forschung zu Ausrichtungs- und Bewertungsmethoden.
Vermächtnis
Die Veröffentlichung von GPT-4 markierte einen Meilenstein bei großen Sprachmodellen und demonstrierte praktischen Nutzen in verschiedenen Bereichen. Sein Nachfolger GPT-5 setzte die Reihe fort, während GPT-4 ein Referenzpunkt für multimodale KI bleibt. Der Einfluss des Modells besteht in laufenden Entwicklungen in künstlicher Intelligenz und maschinellem Lernen fort.