GPT-4 ist ein großes Sprachmodell, das von OpenAI entwickelt wurde und das vierte in dessen GPT-Foundation-Modellreihe ist. Es wurde am 14. März 2023 veröffentlicht, folgte auf GPT-3.5 und wurde später von GPT-5 abgelöst. Im Gegensatz zu seinen Vorgängern ist GPT-4 multimodal, was bedeutet, dass es sowohl Text als auch Bilder als Eingabe verarbeiten kann. OpenAI hat technische Details wie die Größe des Modells, seine Architektur oder die Trainingshardware nicht offengelegt und nannte dafür Wettbewerbs- und Sicherheitsbedenken. Eine frühe Version wurde im Februar 2023 in Microsofts Bing Chat integriert, und GPT-4 war von März 2023 bis zu seiner Entfernung im Jahr 2025 in ChatGPT verfügbar; es bleibt über die API von OpenAI zugänglich.
Hintergrund
OpenAI führte das erste GPT-Modell im Jahr 2018 ein, basierend auf der Transformer-Architektur und trainiert mit einem großen Korpus von Büchern. GPT-2 folgte 2019 und erzeugte kohärenten Text in großem Maßstab. Im Jahr 2020 wurde GPT-3 mit über 100-mal mehr Parametern als GPT-2 veröffentlicht, und seine Verfeinerung führte zu GPT-3.5, das den ChatGPT-Chatbot antrieb. GPT-4 baute auf dieser Linie auf und fügte multimodale Fähigkeiten sowie verbesserte Leistung bei vielen Benchmarks hinzu.
Fähigkeiten
Die Standardversion von GPT-4 hatte einen 8K-Kontextfenster, mit einer speziellen API-Variante, die bis zu 32K Token unterstützte. Als multimodales Modell kann es Bildeingaben akzeptieren, sodass Benutzer Fotos zur Analyse oder für Vorschläge hochladen können. GPT-4 kann auch mit externen Schnittstellen interagieren, beispielsweise Websuchen durchführen, indem es Abfragen in bestimmte Tags einschließt, was es ihm ermöglicht, Webseiten abzurufen und zusammenzufassen, APIs zu nutzen und Bilder zu generieren. Ein Artikel in Nature aus dem Jahr 2023 stellte fest, dass Programmierer GPT-4 als nützlich für Programmierhilfe empfanden, etwa zum Identifizieren von Fehlern und Vorschlagen von Optimierungen, trotz einer Tendenz, Fehler zu machen. In Sicherheitstests erzeugte GPT-4 in 5% der Szenarien Code, der anfällig für SQL-Injection war, verglichen mit 40% bei GitHub Copilot im Jahr 2021. Im November 2023 kündigte OpenAI GPT-4 Turbo mit einem 128K-Kontextfenster und niedrigeren Preisen an.
Eignung bei standardisierten Tests
Studien haben die Zuverlässigkeit von Chatbots bei standardisierten Tests infrage gestellt. Bei den Torrance Tests of Creative Thinking erzielte GPT-4 die besten 1% für Originalität und Flüssigkeit, mit Flexibilitätswerten zwischen dem 93. und 99. Perzentil.
Medizinische Anwendungen
Microsoft-Forscher fanden heraus, dass GPT-4 die Bestehensgrenze der USMLE um über 20 Punkte übertraf, ohne spezielle Aufforderungen, und damit GPT-3.5 sowie medizinspezifische Modelle wie Med-PaLM übertraf. Sie warnten jedoch vor erheblichen Risiken, einschließlich ungenauer Empfehlungen und Halluzinationen. Im April 2023 kündigten Microsoft und Epic Systems Pläne an, Gesundheitsdienstleistern Systeme auf Basis von GPT-4 für Patientenanfragen und die Analyse von Krankenakten bereitzustellen.
GPT-4o
Am 13. Mai 2024 führte OpenAI GPT-4o (das "o" für "omni") ein, einen Nachfolger, der Text, Audio und Bildmodalitäten in Echtzeit verarbeitet und generiert. Es bietet Antwortzeiten, die mit menschlicher Konversation vergleichbar sind, verbesserte Leistung in nicht-englischen Sprachen sowie erweiterte Vision- und Audioverständnisfähigkeiten. GPT-4o war auch für Benutzer der kostenlosen Stufe verfügbar, anders als GPT-4.
Einschränkungen
GPT-4 kann, wie seine Vorgänger, halluzinieren und Ausgaben erzeugen, die den Trainingsdaten oder Benutzeraufforderungen widersprechen. Es fehlt auch an Transparenz bei der Entscheidungsfindung; Erklärungen werden nachträglich gebildet und können früheren Aussagen widersprechen. Im Jahr 2023 zeigten Tests mit dem ConceptARC-Benchmark, dass GPT-4 bei abstrakten Denkaufgaben unter 33% lag, während spezialisierte Modelle etwa 60% und Menschen mindestens 91% erreichten. Forscher merkten an, dass dies nicht unbedingt auf einen Mangel an abstraktem Denken hindeutet, da der Test visuell ist und GPT-4 ein Sprachmodell ist.
Verzerrung
GPT-4 wurde in zwei Phasen trainiert: zuerst auf großen Internet-Textdatensätzen, um nächste Token vorherzusagen; zweitens unter Verwendung von Verstärkungslernen aus menschlichem Feedback, um es an Sicherheitsrichtlinien auszurichten. Microsoft-Forscher deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Ankereffekte und Basisratenvernachlässigung aufweisen könnte.
Training
OpenAI veröffentlichte keine technischen Details zum Training von GPT-4, einschließlich Modellgröße, Architektur, Hardware oder Hyperparametern. Der technische Bericht beschrieb eine Kombination aus überwachtem Lernen und Verstärkungslernen mit menschlichem und KI-Feedback, ließ jedoch Einzelheiten aus. Sam Altman erklärte, dass die Trainingskosten über 100 Millionen US-Dollar lagen. Der Bericht nannte die Wettbewerbslandschaft und Sicherheitsimplikationen als Gründe für die Zurückhaltung von Informationen.