GPT-4 ist ein groß angelegtes multimodales Large-Language-Modell, das von OpenAI entwickelt und am 14. März 2023 als Nachfolger von GPT-3 veröffentlicht wurde und als zugrunde liegendes Modell einer verbesserten Version von ChatGPT dient. Im Gegensatz zu seinen Vorgängern akzeptiert GPT-4 sowohl Text- als auch Bildeingaben, obwohl seine Ausgabe in der ursprünglichen Veröffentlichung rein textbasiert blieb, und OpenAI berichtete über erheblich verbesserte Leistungen in einer breiten Palette professioneller und akademischer Benchmarks, einschließlich des Bestehens einer simulierten Anwaltsprüfung in einem Perzentil, das OpenAI im Vergleich zu menschlichen Prüfungsteilnehmern günstig bewertete.
Geheimhaltung und technische Offenlegung
Die Veröffentlichung von GPT-4 markierte eine bemerkenswerte Verschiebung in den Publikationspraktiken von OpenAI. Im Gegensatz zu früheren GPT-Papieren, die Architektur und Trainingsdaten detailliert beschrieben, legte der technische Bericht von OpenAI zu GPT-4 keine Informationen über Modellgröße, Architekturdetails, Trainingsrechenleistung oder Datensatzzusammensetzung offen, wobei auf Wettbewerbs- und Sicherheitserwägungen verwiesen wurde. Diese Abkehr von OpenAIs früherer Norm der Offenheit stieß in Teilen der Forschungsgemeinschaft auf Kritik, die argumentierte, dass sie die wissenschaftliche Reproduzierbarkeit untergrabe, die das Feld geprägt hatte, und wurde zu einem häufig zitierten Beispiel in breiteren Debatten über Transparenz unter Entwicklern von Frontier-Modellen.
Funken der AGI
Kurz nach der Veröffentlichung veröffentlichte eine Gruppe von Microsoft-Forschern „Sparks of Artificial General Intelligence“, ein Papier, das die Fähigkeiten von GPT-4 in Bereichen wie Programmierung, Mathematik, Medizin, Recht und anderen Domänen untersuchte und argumentierte, dass das Modell frühe, allgemeine Problemlösungsfähigkeiten zeige, die über enges Mustererkennen hinausgingen und vernünftigerweise im Zusammenhang mit Künstlicher Allgemeiner Intelligenz diskutiert werden könnten. Das Papier war einflussreich bei der Verschiebung des öffentlichen und Forschungsdiskurses, zog jedoch auch methodische Kritik auf sich, da es sich auf anekdotische, nicht systematische Bewertungen statt auf rigoroses Benchmarking stützte.
Training und Sicherheit
GPT-4 wurde mit groß angelegtem Vortraining gefolgt von RLHF trainiert, um seine Ausgaben an menschliche Präferenzen anzupassen, zusammen mit umfangreichem Red-Teaming, das vor der Veröffentlichung mit externen Forschern durchgeführt wurde, eine Anwendung von Praktiken, die mit Red-Teaming und Guardrails-Arbeit in der gesamten Branche verbunden sind. OpenAI veröffentlichte später GPT-4 Turbo und andere iterative Updates, die die Kontextlänge erweiterten und die Kosten senkten, und bot GPT-4 als Standardmodell für kostenpflichtige ChatGPT-Stufen an, was zu einem anhaltenden Wachstum der Abonnementumsätze beitrug.
Auswirkungen
Die Veröffentlichung von GPT-4 verstärkte den Wettbewerbsdruck in der gesamten KI-Branche und führte zu beschleunigten Veröffentlichungen von Google DeepMind, Anthropic und anderen Labors. Sie wird häufig als der Punkt zitiert, an dem sich die Entwicklung von Frontier-Sprachmodellen entscheidend von einer akademisch nahen Forschungskultur hin zu groß angelegtem, kapitalintensivem kommerziellem Wettbewerb verlagerte, eine Periode, die manchmal als Teil des breiteren KI-Booms bezeichnet wird. OpenAI veröffentlichte später OpenAI o1 im Jahr 2024 als eine eigenständige, auf Reasoning fokussierte Nachfolgelinie, die auf Basis von GPT-4-Klassen-Basismodellen aufbaut.