GPT-4 ist ein großes Sprachmodell, das von OpenAI entwickelt wurde und das vierte in seiner Reihe von GPT-Basismodellen ist. Es wurde am 14. März 2023 veröffentlicht, folgte auf GPT-3.5 und wurde von seinem Nachfolger GPT-5 abgelöst. Im Gegensatz zu seinen Vorgängern ist GPT-4 ein multimodales Modell, das sowohl Text- als auch Bildeingaben verarbeiten kann. OpenAI hat keine technischen Details zum Modell veröffentlicht, einschließlich seiner genauen Größe.
Hintergrund
OpenAI stellte das erste GPT-Modell (GPT-1) im Jahr 2018 vor und veröffentlichte ein Papier mit dem Titel „Improving Language Understanding by Generative Pre-Training“, das auf der Transformer-Architektur basierte und mit einem großen Korpus von Büchern trainiert wurde. Im Jahr 2019 führten sie GPT-2 ein, ein größeres Modell, das in der Lage ist, kohärenten Text zu erzeugen. Im Jahr 2020 veröffentlichten sie GPT-3, ein Modell mit über 100-mal so vielen Parametern wie GPT-2. GPT-3 wurde weiter zu GPT-3.5 verfeinert, das zur Erstellung des ChatGPT-Chatbots verwendet wurde.
Fähigkeiten
GPT-4 wurde am 14. März 2023 veröffentlicht. Die Standardversion verfügte über ein Kontextfenster von 8K, wobei eine spezielle Version in der API bis zu 32K Token unterstützte. Im Gegensatz zu seinen Vorgängern ist GPT-4 ein multimodales Modell: Es kann sowohl Bilder als auch Text als Eingabe verarbeiten. Es kann mit Benutzern über gesprochene Worte interagieren und auf Bilder reagieren, sodass es Vorschläge oder Antworten basierend auf Foto-Uploads geben kann.
GPT-4 kann dazu aufgefordert werden, mit externen Schnittstellen zu interagieren. Beispielsweise könnte dem Modell gesagt werden, eine Abfrage in <search></search>-Tags einzuschließen, um eine Websuche durchzuführen, deren Ergebnis in den Prompt des Modells eingefügt wird, damit es eine Antwort formulieren kann. Dies ermöglicht es dem Modell, Aufgaben über seine normalen Textvorhersagefähigkeiten hinaus auszuführen, wie die Nutzung von APIs, das Erzeugen von Bildern und das Zugreifen auf und Zusammenfassen von Webseiten.
Ein Artikel in Nature aus dem Jahr 2023 stellte fest, dass Programmierer GPT-4 als nützlich für die Unterstützung bei Programmieraufgaben empfanden (trotz seiner Fehleranfälligkeit), wie das Finden von Fehlern in vorhandenem Code und das Vorschlagen von Optimierungen zur Leistungsverbesserung. Der Artikel zitierte einen Biophysiker, der feststellte, dass die Zeit, die er benötigte, um eines seiner Programme von MATLAB nach Python zu portieren, von Tagen auf „etwa eine Stunde“ sank. Bei einem Test mit 89 Sicherheitsszenarien erzeugte GPT-4 in 5% der Fälle Code, der anfällig für SQL-Injection-Angriffe war, eine Verbesserung gegenüber GitHub Copilot aus dem Jahr 2021, das in 40% der Fälle Schwachstellen erzeugte.
Im November 2023 kündigte OpenAI die Modelle GPT-4 Turbo und GPT-4 Turbo with Vision an, die über ein 128K-Kontextfenster verfügten und deutlich günstiger waren.
Leistungsfähigkeit bei standardisierten Tests
Studien haben die Zuverlässigkeit der Durchführung von Chatbots durch standardisierte Tests angezweifelt. Bei den Torrance Tests of Creative Thinking erzielte GPT-4 in den Bereichen Originalität und Flüssigkeit die besten 1%, während seine Flexibilitätswerte zwischen dem 93. und 99. Perzentil lagen.
Medizinische Anwendungen
Forscher von Microsoft testeten GPT-4 an medizinischen Problemen und stellten fest, dass „GPT-4, ohne spezielle Prompt-Erstellung, den Bestehenswert des USMLE um über 20 Punkte übertrifft und frühere allgemeine Modelle (GPT-3.5) sowie Modelle, die speziell auf medizinisches Wissen abgestimmt wurden (Med-PaLM, eine prompt-abgestimmte Version von Flan-PaLM 540B), übertrifft.“ Trotz der starken Leistung von GPT-4 bei Tests warnte der Bericht vor „erheblichen Risiken“ bei der Verwendung großer Sprachmodelle in medizinischen Anwendungen, da sie ungenaue Empfehlungen geben und schwerwiegende sachliche Fehler halluzinieren könnten.
Im April 2023 kündigten Microsoft und Epic Systems an, dass sie Gesundheitsdienstleistern GPT-4-basierte Systeme zur Verfügung stellen würden, um bei der Beantwortung von Patientenfragen und der Analyse von Krankenakten zu helfen.
GPT-4o
Am 13. Mai 2024 führte OpenAI GPT-4o („o“ für „omni“) ein, einen Nachfolger von GPT-4, der einen bedeutenden Fortschritt darstellte, indem er Ausgaben in Echtzeit über Text-, Audio- und Bildmodalitäten verarbeitete und erzeugte. GPT-4o zeigte schnelle Reaktionszeiten, die mit menschlichen Reaktionen in Gesprächen vergleichbar waren, deutlich verbesserte Leistung bei nicht-englischen Sprachen und ein verbessertes Verständnis von Bild und Audio. Es war auch für Benutzer der kostenlosen Stufe verfügbar, im Gegensatz zu GPT-4.
Einschränkungen
Wie seine Vorgänger ist bekannt, dass GPT-4 halluziniert, was bedeutet, dass seine Ausgaben Informationen enthalten können, die nicht in den Trainingsdaten enthalten sind oder dem Prompt des Benutzers widersprechen.
GPT-4 mangelt es auch an Transparenz in seinen Entscheidungsprozessen. Auf Anfrage kann das Modell eine Erklärung darüber liefern, wie und warum es seine Entscheidungen trifft, aber diese Erklärungen werden im Nachhinein gebildet; es ist unmöglich zu überprüfen, ob diese Erklärungen wirklich den tatsächlichen Prozess widerspiegeln. In vielen Fällen, wenn GPT-4 gebeten wird, seine Logik zu erklären, gibt es Erklärungen, die direkt seinen früheren Aussagen widersprechen.
Im Jahr 2023 testeten Forscher GPT-4 gegen einen neuen Benchmark namens ConceptARC, der darauf ausgelegt ist, abstraktes Denken zu messen, und stellten fest, dass es in allen Kategorien unter 33% abschnitt, während Modelle, die auf ähnliche Aufgaben spezialisiert waren, in den meisten Kategorien 60% erreichten und Menschen in allen Kategorien mindestens 91% erreichten. Sam Bowman, der nicht an der Forschung beteiligt war, sagte, die Ergebnisse deuten nicht unbedingt auf einen Mangel an abstrakten Denkfähigkeiten hin, da der Test visuell ist, während GPT-4 ein Sprachmodell ist.
Verzerrung
GPT-4 wurde in zwei Phasen trainiert. Zuerst wurde dem Modell große Datensätze von Text aus dem Internet gegeben und es wurde trainiert, das nächste Token (ungefähr einem Wort entsprechend) in diesen Datensätzen vorherzusagen. Zweitens wurden menschliche Bewertungen verwendet, um das System in einem Prozess namens Reinforcement Learning from Human Feedback zu verfeinern, der das Modell dazu trainiert, Prompts abzulehnen, die gegen OpenAIs Definition von schädlichem Verhalten verstoßen, wie Fragen zur Durchführung illegaler Aktivitäten, Ratschläge zur Selbstverletzung oder zur Schädigung anderer oder Anfragen nach Beschreibungen von grafischem, gewalttätigem oder sexuellem Inhalt.
Microsoft-Forscher deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Verankerung und Vernachlässigung der Basisrate aufweisen könnte.
Training
OpenAI veröffentlichte die technischen Details von GPT-4 nicht; der technische Bericht verzichtete ausdrücklich darauf, die Modellgröße, Architektur oder Hardware anzugeben, die während des Trainings oder der Inferenz verwendet wurden. Während der Bericht beschrieb, dass das Modell mit einer Kombination aus überwachtem Lernen an einem großen Datensatz und anschließendem Reinforcement Learning mit menschlichem und KI-Feedback trainiert wurde, gab er keine Details zum Training an, einschließlich des Prozesses, mit dem der Trainingsdatensatz erstellt wurde, der benötigten Rechenleistung oder Hyperparametern wie Lernrate, Epochenanzahl oder verwendeten Optimierern. Der Bericht behauptete, dass „die Wettbewerbslandschaft und die Sicherheitsimplikationen von groß angelegten Modellen“ Faktoren waren, die diese Entscheidung beeinflussten.
Sam Altman erklärte, dass die Kosten für das Training von GPT-4 mehr als 100 Millionen US-Dollar betrugen.
Rezeption und Auswirkungen
GPT-4 wurde von Microsoft in Bing Chat integriert, das im Februar 2023 startete, vor der offiziellen Veröffentlichung des Modells. Das Modell wurde schnell zu einer Grundlage für zahlreiche Anwendungen und Dienste und demonstrierte das Potenzial von GPT-Modellen in verschiedenen Bereichen.
Verfügbarkeit
GPT-4 wurde im März 2023 in ChatGPT veröffentlicht und blieb verfügbar, bis es 2025 entfernt wurde. Das Modell wurde am 23. Oktober 2026 aus der OpenAI-API entfernt.