GPT-4 Turbo ist ein großes Sprachmodell, das von OpenAI entwickelt wurde und im November 2023 als verbesserte Version des früheren GPT-4-Modells angekündigt wurde. Zu den bemerkenswertesten Verbesserungen gehören ein Kontextfenster von 128K-Token, das es dem Modell ermöglicht, deutlich längere Eingaben zu verarbeiten, sowie eine niedrigere API-Preisstruktur. Die Veröffentlichung führte auch GPT-4 Turbo mit Vision ein, eine Variante, die sowohl Text als auch Bilder verarbeiten kann. GPT-4 Turbo wurde im Mai 2024 von GPT-4o abgelöst, das Echtzeit-Multimodalverarbeitung und kostenlosen Zugang für ChatGPT-Nutzer bot.
Hintergrund
OpenAI stellte 2018 das erste GPT-Modell vor, das auf der Transformer-Architektur basierte und mit einem großen Korpus von Büchern trainiert wurde. Nachfolgende Iterationen, GPT-2 im Jahr 2019 und GPT-3 im Jahr 2020, skalierten die Parameter hoch und verbesserten die Textgenerierung. GPT-3.5 betrieb die ursprüngliche Veröffentlichung von ChatGPT im November 2022, die große Sprachmodelle in den Mainstream brachte. GPT-4, das im März 2023 veröffentlicht wurde, fügte multimodale Fähigkeiten hinzu und akzeptierte sowohl Text- als auch Bildeingaben. Die Standardversion hatte ein Kontextfenster von 8K, mit einer speziellen API-Variante, die bis zu 32K-Token unterstützte. GPT-4 Turbo wurde entwickelt, um Einschränkungen bei Kontextlänge und Kosten zu beheben, und baute auf der Grundlage seines Vorgängers auf.
Ankündigung und Veröffentlichung
OpenAI kündigte GPT-4 Turbo am 6. November 2023 auf seiner ersten Entwicklerkonferenz, DevDay, in San Francisco an. Das Modell wurde über die OpenAI-API verfügbar gemacht, mit einem Preis von 0,01 US-Dollar pro 1.000 Eingabe-Token und 0,03 US-Dollar pro 1.000 Ausgabe-Token, was etwa dreimal günstiger war als GPT-4. Das 128K-Kontextfenster ermöglichte die Verarbeitung von Dokumenten, die mehr als 300 Textseiten in einer einzigen Anfrage umfassten. OpenAI führte auch eine aktualisierte Version von GPT-4 Turbo mit Vision ein, die Bilder neben Text analysieren konnte. Die Ankündigung hob Verbesserungen bei der Befolgung von Anweisungen, den JSON-Modus und Funktionsaufrufe hervor, was das Modell besser für Entwickleranwendungen geeignet machte.
Fähigkeiten
GPT-4 Turbo behielt die multimodalen Eingabefähigkeiten von GPT-4 bei, sodass Benutzer sowohl Text als auch Bilder bereitstellen konnten. Es konnte über Funktionsaufrufe mit externen Tools interagieren, was Aufgaben wie Websuchen, API-Aufrufe und Bildgenerierung ermöglichte. Das erweiterte Kontextfenster erlaubte es dem Modell, die Kohärenz über längere Gespräche aufrechtzuerhalten und ganze Bücher oder Codebasen zu verarbeiten. In einem Artikel in Nature aus dem Jahr 2023 berichteten Programmierer, dass GPT-4 Turbo bei Programmieraufgaben half, wie dem Identifizieren von Fehlern und dem Vorschlagen von Optimierungen, obwohl es anfällig für Fehler war. Bei einem Test mit 89 Sicherheitsszenarien erzeugte GPT-4 in 5 % der Fälle Code, der anfällig für SQL-Injection-Angriffe war, eine Verbesserung gegenüber GitHub Copilot von 2021, das eine Schwachstellenrate von 40 % aufwies.
Leistung bei standardisierten Tests
Studien zur Leistung von GPT-4 Turbo bei standardisierten Tests waren begrenzt, aber frühere Bewertungen von GPT-4 zeigten starke Ergebnisse. Bei den Torrance Tests of Creative Thinking erzielte GPT-4 innerhalb der obersten 1 % für Originalität und Flüssigkeit, mit Flexibilitätswerten zwischen dem 93. und 99. Perzentil. Forscher warnten jedoch, dass das Durchführen von Chatbots durch solche Tests möglicherweise nicht zuverlässig ist, da die Modelle plausible, aber falsche Antworten generieren können.
Medizinische Anwendungen
Microsoft-Forscher testeten GPT-4 an medizinischen Problemen und stellten fest, dass es die Bestehensgrenze der United States Medical Licensing Examination um über 20 Punkte übertraf und damit frühere Modelle wie GPT-3.5 und spezialisierte Modelle wie Med-PaLM übertraf. Sie warnten jedoch vor erheblichen Risiken, einschließlich ungenauer Empfehlungen und Halluzinationen mit schwerwiegenden sachlichen Fehlern. Im April 2023 kündigten Microsoft und Epic Systems Pläne an, Gesundheitsdienstleistern GPT-4-basierte Systeme zur Beantwortung von Patientenfragen und zur Analyse von Krankenakten bereitzustellen, ein Trend, der mit GPT-4 Turbo fortgesetzt wurde.
Einschränkungen
Wie seine Vorgänger konnte GPT-4 Turbo halluzinieren und Ausgaben erzeugen, die dem Benutzer-Prompt widersprechen oder erfundene Informationen enthalten. Es mangelte auch an Transparenz bei der Entscheidungsfindung; wenn es gebeten wurde, seine Argumentation zu erklären, erzeugte das Modell Post-hoc-Erklärungen, die nicht verifiziert werden konnten, ob sie den tatsächlichen Prozess widerspiegelten. Im Jahr 2023 testeten Forscher GPT-4 gegen den ConceptARC-Benchmark, der zur Messung abstrakten Denkens entwickelt wurde, und stellten fest, dass es in allen Kategorien unter 33 % abschnitt, während spezialisierte Modelle in den meisten Kategorien 60 % erreichten und Menschen mindestens 91 % erzielten. Sam Bowman, der nicht an der Forschung beteiligt war, merkte an, dass die visuelle Natur des Tests ein Sprachmodell benachteiligen könnte.
Verzerrung
GPT-4 Turbo wurde in zwei Phasen trainiert: zuerst auf großen Internet-Textdatensätzen, um das nächste Token vorherzusagen, und zweitens unter Verwendung von Reinforcement Learning aus menschlichem Feedback, um es an Sicherheitsrichtlinien anzupassen. Microsoft-Forscher deuteten an, dass GPT-4 kognitive Verzerrungen wie Bestätigungsfehler, Verankerung und Vernachlässigung der Basisrate aufwies. Der Trainingsprozess zielte darauf ab, schädliche Ausgaben zu reduzieren, aber Verzerrungen konnten dennoch auftreten.
Training
OpenAI machte keine technischen Details zum Training von GPT-4 Turbo bekannt, einschließlich Modellgröße, Architektur oder Hardware. Der technische Bericht für GPT-4, der wahrscheinlich auch für Turbo galt, nannte Wettbewerbs- und Sicherheitsbedenken für diese Geheimhaltung. Sam Altman erklärte, dass das Training von GPT-4 mehr als 100 Millionen US-Dollar kostete. Das Training verwendete überwachtes Lernen, gefolgt von Reinforcement Learning mit sowohl menschlichem als auch KI-Feedback, aber Details wie Hyperparameter und Datensatzkonstruktion wurden nicht offengelegt.
Rezeption und Auswirkungen
GPT-4 Turbo wurde von Entwicklern aufgrund seiner niedrigeren Kosten und des größeren Kontextfensters gut aufgenommen, was neue Anwendungen wie die Analyse langer Dokumente und komplexe Agenten-Workflows ermöglichte. Es stärkte OpenAIs Position in der Wettbewerbslandschaft der großen Sprachmodelle, die Rivalen wie Anthropic und Google DeepMind gegenüberstand. Die Veröffentlichung unterstrich auch den Trend zu effizienteren und zugänglicheren KI-Modellen und beeinflusste nachfolgende Entwicklungen in diesem Bereich. GPT-4 Turbo blieb in der OpenAI-API verfügbar, bis es schließlich durch neuere Modelle ersetzt wurde, obwohl GPT-4 selbst im Jahr 2025 aus ChatGPT entfernt wurde.