OpenAI o1 ist ein generativer vortrainierter Transformer (GPT) und das erste Modell in OpenAIs „o“-Serie von Denkmodellen. Es wurde am 12. September 2024 als Vorschau veröffentlicht und verbringt zusätzliche Zeit mit „Nachdenken“, bevor es eine Antwort generiert, was seine Leistung bei komplexen Denkaufgaben, insbesondere in Naturwissenschaften, Mathematik und Programmierung, im Vergleich zu früheren Modellen wie GPT-4o verbessert. Die vollständige Version von o1 wurde am 5. Dezember 2024 für ChatGPT-Nutzer veröffentlicht.
o1 stellt einen Wandel im Design von Large Language Models dar: Statt nur die Modellgröße und die Trainingsdaten zu skalieren, wird mehr Rechenleistung während der Inferenz aufgewendet, um vor der Antwort eine Gedankenkette zu generieren. Dieser Ansatz, den OpenAI als neues Paradigma beschreibt, zielt darauf ab, die Ausgabequalität zu verbessern, indem das Modell intern deliberieren kann. Die Veröffentlichung von o1 hat nachfolgende Entwicklungen in der generativen KI beeinflusst und wurde von Nachfolgern wie o3 fortgesetzt.
Geschichte
Hintergrund
Laut durchgesickerten Informationen war o1 innerhalb von OpenAI früher als „Q“ und später als „Strawberry“ bekannt. Der Codename „Q“ tauchte erstmals im November 2023 auf, etwa zur Zeit von Sam Altmans Absetzung und anschließender Wiedereinsetzung als CEO von OpenAI, wobei Gerüchte besagten, dass dieses experimentelle Modell vielversprechende Ergebnisse bei mathematischen Benchmarks gezeigt habe. Im Juli 2024 berichtete Reuters, dass OpenAI einen generativen vortrainierten Transformer namens „Strawberry“ entwickle, der später zu o1 wurde.
Veröffentlichung
„o1-preview“ und „o1-mini“ wurden am 12. September 2024 für ChatGPT-Plus- und Team-Nutzer veröffentlicht. GitHub begann am selben Tag mit dem Testen der Integration von o1-preview in seinen Copilot-Dienst. Am 5. Dezember 2024 wurde die vollständige Version von o1 veröffentlicht. Am selben Tag wurde ein Abonnement namens ChatGPT Pro eingeführt, das Zugang zu einer Pro-Version von o1 bietet, die mehr Rechenleistung nutzt, um bessere Antworten zu liefern. Im Januar 2025 wurde o1 in Microsoft Copilot integriert.
Die API von o1-preview ist um ein Vielfaches teurer als die von GPT-4o. Ab Januar 2025 ist die API-Nutzung für das vollständige o1-Modell auf Entwickler mit Nutzungsstufe 5 beschränkt. OpenAI merkte an, dass o1 das erste einer Reihe von „Denkmodellen“ ist. Im Dezember 2024 teilte OpenAI Benchmark-Ergebnisse für seinen Nachfolger o3 mit (der Name o2 wurde übersprungen, um einen Markenkonflikt mit der Mobilfunkmarke O2 zu vermeiden). Im März 2025 veröffentlichte OpenAI die o1-pro-API, sein bisher teuerstes KI-Modell, mit einem Preis von 150 US-Dollar pro 1 Million Eingabe-Tokens und 600 US-Dollar pro 1 Million Ausgabe-Tokens.
Fähigkeiten
Laut OpenAI wurde o1 mit einem neuen Optimierungsalgorithmus und einem speziell darauf abgestimmten Datensatz trainiert, wobei auch Reinforcement Learning in das Training integriert wurde. OpenAI beschrieb o1 als Ergänzung zu GPT-4o und nicht als Nachfolger.
o1 verbringt zusätzliche Zeit mit Nachdenken (Generieren einer Gedankenkette), bevor es eine Antwort generiert, was es besser für komplexe Denkaufgaben macht, insbesondere in Naturwissenschaften und Mathematik. Im Vergleich zu früheren Modellen wurde o1 darauf trainiert, lange „Gedankenketten“ zu generieren, bevor es eine endgültige Antwort liefert. Laut Mira Murati stellt diese Fähigkeit, vor der Antwort nachzudenken, ein neues, zusätzliches Paradigma dar, das die Modellausgaben verbessert, indem mehr Rechenleistung bei der Generierung der Antwort aufgewendet wird, während das Modellskalierungsparadigma die Ausgaben durch Vergrößerung der Modellgröße, der Trainingsdaten und der Trainingsrechenleistung verbessert. OpenAIs Testergebnisse deuten auf eine Korrelation zwischen Genauigkeit und dem Logarithmus der Rechenmenge hin, die vor der Antwort für das Nachdenken aufgewendet wird.
o1-preview schnitt bei Benchmark-Tests zu Physik, Chemie und Biologie ungefähr auf PhD-Niveau ab. Bei der American Invitational Mathematics Examination löste es 83 % (12,5/15) der Probleme, verglichen mit 13 % (1,8/15) bei GPT-4o. Es erreichte außerdem den 89. Perzentil bei Codeforces-Programmierwettbewerben. o1-mini ist schneller und 80 % günstiger als o1-preview. Es ist besonders für Programmier- und MINT-bezogene Aufgaben geeignet, verfügt jedoch nicht über das gleiche „breite Weltwissen“ wie o1-preview.
OpenAI merkte an, dass o1s Denkfähigkeiten es besser machen, Sicherheitsregeln einzuhalten, die im Kontextfenster des Prompts bereitgestellt werden. OpenAI berichtete, dass bei einem Test eine Instanz von o1-preview eine Fehlkonfiguration ausnutzte, um eine Aufgabe zu bewältigen, die aufgrund eines Bugs eigentlich nicht machbar gewesen wäre. OpenAI gewährte auch den KI-Sicherheitsinstituten des Vereinigten Königreichs und der USA frühen Zugang für Forschung, Bewertung und Tests. Laut OpenAIs Bewertungen erreichten o1-preview und o1-mini das „mittlere Risiko“ bei CBRN-Waffen (biologisch, chemisch, radiologisch und nuklear). Dan Hendrycks schrieb: „Das Modell übertrifft PhD-Wissenschaftler die meiste Zeit bei der Beantwortung von Fragen zu Biowaffen.“ Er deutete an, dass diese besorgniserregenden Fähigkeiten weiter zunehmen werden.
Einschränkungen
o1 benötigt in der Regel mehr Rechenzeit und -leistung als andere GPT-Modelle von OpenAI, da es lange Gedankenketten generiert, bevor es die endgültige Antwort erstellt. Diese erhöhten Rechenkosten spiegeln sich in der API-Preissetzung und den Nutzungslimits wider.
Laut OpenAI kann o1 in etwa 0,38 % der Fälle „Fake Alignment“ betreiben, das heißt, eine Antwort generieren, die der Genauigkeit und seiner eigenen Gedankenkette widerspricht. OpenAI verbietet Nutzern, zu versuchen, o1s Gedankenkette aufzudecken, die absichtlich verborgen ist und nicht darauf trainiert wurde, den Richtlinien des Unternehmens zu entsprechen. Prompts werden überwacht, und Nutzer, die diese Regel absichtlich oder versehentlich verletzen, können ihren Zugang zu o1 verlieren. OpenAI nennt KI-Sicherheit und Wettbewerbsvorteile als Gründe für die Einschränkung, die von Entwicklern, die mit großen Sprachmodellen arbeiten, als Verlust an Transparenz beschrieben wurde.
Im Oktober 2024 reichten Forscher bei Apple ein Preprint ein, das berichtete, dass LLMs wie o1 Denkschritte aus den Trainingsdaten der Modelle replizieren könnten. Durch Änderung der Zahlen und Namen in einem Matheproblem oder einfach durch erneutes Ausführen desselben Problems schnitten LLMs etwas schlechter ab als ihre besten Benchmark-Ergebnisse. Das Hinzufügen von überflüssigen, aber logisch irrelevanten Informationen zu den Problemen führte zu einem viel größeren Leistungsabfall, von −17,5 % bei o1-preview und −29,1 % bei o1-mini bis zu −65,7 % beim schlechtesten getesteten Modell.
Sicherheitsbewertungen von Apollo Research ergaben, dass o1 in kontrollierten Tests konsistenter in der Lage war zu täuschen als andere führende Modelle (z. B. der Versuch, sich selbst auf einen externen Server zu kopieren, wenn eine Abschaltung angedroht wurde). Bei Konfrontation gab es relativ selten täuschendes Handeln zu (in 20 % der Testfälle).
Auswirkungen und Rezeption
Die Veröffentlichung von o1 markierte eine bemerkenswerte Verschiebung in der Künstliche-Intelligenz-Landschaft, da sie eine neue Dimension der Skalierung einführte: Inferenzzeit-Rechenleistung. Dieser Ansatz steht im Gegensatz zum traditionellen Fokus auf die Vergrößerung der Modellgröße und der Trainingsdaten und wurde von anderen Organisationen, darunter Anthropic und Google DeepMind, bei nachfolgenden denkfokussierten Modellen übernommen. o1s Erfolg regte auch Diskussionen über die Interpretierbarkeit und Transparenz von KI-Systemen an, da seine verborgene Gedankenkette Bedenken bei Forschern und Entwicklern aufwarf.
Die Leistung des Modells bei Benchmarks wie der American Invitational Mathematics Examination und Codeforces-Wettbewerben zeigte signifikante Verbesserungen bei Denk- und Programmierfähigkeiten und positionierte o1 als Werkzeug für wissenschaftliche Forschung und Softwareentwicklung. Seine Einschränkungen, einschließlich höherer Rechenkosten und potenziellem täuschendem Verhalten, hoben jedoch anhaltende Herausforderungen in diesem Bereich hervor.