OpenAI o1 est un transformeur génératif pré-entraîné (GPT) et le premier modèle de la série "o" de modèles de raisonnement d'OpenAI. Publié en version préliminaire le 12 septembre 2024, o1 consacre davantage de temps à "réfléchir" avant de générer une réponse, ce qui améliore ses performances sur les tâches de raisonnement complexes, notamment en sciences, en mathématiques et en programmation, par rapport à des modèles antérieurs comme GPT-4o. La version complète d'o1 a été publiée pour les utilisateurs de ChatGPT le 5 décembre 2024.
o1 représente un changement dans la conception des Large language model : au lieu de seulement augmenter la taille du modèle et les données d'entraînement, il alloue davantage de puissance de calcul pendant l'inférence pour générer une chaîne de pensée avant de répondre. Cette approche, décrite par OpenAI comme un nouveau paradigme, vise à améliorer la qualité des résultats en permettant au modèle de délibérer en interne. La sortie d'o1 a influencé les développements ultérieurs dans la Generative AI et a été suivie par des successeurs comme o3.
Histoire
Contexte
Selon des informations divulguées, o1 était auparavant connu en interne chez OpenAI sous le nom de "Q" puis de "Strawberry". Le nom de code "Q" est apparu pour la première fois en novembre 2023, vers l'époque du limogeage puis de la réintégration de Sam Altman en tant que PDG d'OpenAI, avec des rumeurs suggérant que ce modèle expérimental avait montré des résultats prometteurs sur des références mathématiques. En juillet 2024, Reuters a rapporté qu'OpenAI développait un transformeur génératif pré-entraîné connu sous le nom de "Strawberry", qui est devenu plus tard o1.
Publication
"o1-preview" et "o1-mini" ont été publiés le 12 septembre 2024 pour les utilisateurs de ChatGPT Plus et Team. GitHub a commencé à tester l'intégration d'o1-preview dans son service Copilot le même jour. Le 5 décembre 2024, la version complète d'o1 a été publiée. Le même jour, un abonnement appelé ChatGPT Pro a été lancé, offrant un accès à une version pro d'o1 qui utilise plus de calcul pour fournir de meilleures réponses. En janvier 2025, o1 a été intégré à Microsoft Copilot.
L'API d'o1-preview est plusieurs fois plus chère que celle de GPT-4o. En janvier 2025, l'utilisation de l'API pour le modèle complet o1 est limitée aux développeurs de niveau d'utilisation 5. OpenAI a noté qu'o1 est le premier d'une série de modèles de "raisonnement". En décembre 2024, OpenAI a partagé les résultats de référence pour son successeur, o3 (le nom o2 a été sauté pour éviter un conflit de marque avec la marque d'opérateur mobile O2). En mars 2025, OpenAI a publié l'API o1-pro, son modèle d'IA le plus cher à ce jour, au prix de 150 $ pour 1 million de jetons d'entrée et 600 $ pour 1 million de jetons de sortie.
Capacités
Selon OpenAI, o1 a été entraîné à l'aide d'un nouvel algorithme d'optimisation et d'un ensemble de données spécifiquement adapté, tout en intégrant l'apprentissage par renforcement dans son entraînement. OpenAI a décrit o1 comme un complément à GPT-4o plutôt qu'un successeur.
o1 consacre davantage de temps à réfléchir (générer une chaîne de pensée) avant de générer une réponse, ce qui le rend meilleur pour les tâches de raisonnement complexes, notamment en sciences et en mathématiques. Par rapport aux modèles précédents, o1 a été entraîné à générer de longues "chaînes de pensée" avant de renvoyer une réponse finale. Selon Mira Murati, cette capacité à réfléchir avant de répondre représente un nouveau paradigme supplémentaire, améliorant les sorties du modèle en dépensant plus de puissance de calcul lors de la génération de la réponse, tandis que le paradigme d'extension du modèle améliore les sorties en augmentant la taille du modèle, les données d'entraînement et la puissance de calcul d'entraînement. Les résultats des tests d'OpenAI suggèrent une corrélation entre la précision et le logarithme de la quantité de calcul dépensée pour réfléchir avant de répondre.
o1-preview a obtenu des performances environ au niveau d'un doctorat sur les tests de référence liés à la physique, à la chimie et à la biologie. À l'examen de mathématiques American Invitational Mathematics Examination, il a résolu 83 % (12,5/15) des problèmes, contre 13 % (1,8/15) pour GPT-4o. Il a également atteint le 89e percentile dans les compétitions de programmation Codeforces. o1-mini est plus rapide et 80 % moins cher qu'o1-preview. Il est particulièrement adapté aux tâches de programmation et liées aux STEM, mais ne possède pas la même "connaissance générale du monde" qu'o1-preview.
OpenAI a noté que les capacités de raisonnement d'o1 le rendent meilleur pour respecter les règles de sécurité fournies dans le contexte de la fenêtre du prompt. OpenAI a rapporté que lors d'un test, une instance d'o1-preview avait exploité une mauvaise configuration pour réussir une tâche qui aurait dû être infaisable en raison d'un bug. OpenAI a également accordé un accès anticipé aux instituts britannique et américain de sécurité de l'IA pour la recherche, l'évaluation et les tests. Selon les évaluations d'OpenAI, o1-preview et o1-mini ont franchi le seuil de "risque moyen" en ce qui concerne les armes CBRN (biologiques, chimiques, radiologiques et nucléaires). Dan Hendrycks a écrit : "Le modèle surpasse déjà la plupart du temps les scientifiques titulaires d'un doctorat pour répondre à des questions liées aux bioweapons." Il a suggéré que ces capacités préoccupantes continueront d'augmenter.
Limitations
o1 nécessite généralement plus de temps et de puissance de calcul que les autres modèles GPT d'OpenAI, car il génère de longues chaînes de pensée avant de faire la réponse finale. Ce coût de calcul accru se reflète dans son tarif API et ses limites d'utilisation.
Selon OpenAI, o1 peut "simuler une alignement", c'est-à-dire générer une réponse contraire à la précision et à sa propre chaîne de pensée, dans environ 0,38 % des cas. OpenAI interdit aux utilisateurs de tenter de révéler la chaîne de pensée d'o1, qui est cachée par conception et non entraînée à se conformer aux politiques de l'entreprise. Les prompts sont surveillés, et les utilisateurs qui violent cette règle intentionnellement ou accidentellement peuvent perdre leur accès à o1. OpenAI invoque la sécurité de l'IA et l'avantage concurrentiel comme raisons de cette restriction, qui a été décrite comme une perte de transparence par les développeurs travaillant avec de grands modèles de langage.
En octobre 2024, des chercheurs d'Apple ont soumis une prépublication rapportant que des LLM comme o1 pourraient reproduire des étapes de raisonnement issues des données d'entraînement des modèles eux-mêmes. En modifiant les nombres et les noms utilisés dans un problème de mathématiques ou en exécutant simplement le même problème à nouveau, les LLM obtenaient des performances légèrement inférieures à leurs meilleurs résultats de référence. L'ajout d'informations superflues mais logiquement sans conséquence aux problèmes a entraîné une baisse de performance beaucoup plus importante, de −17,5 % pour o1-preview et −29,1 % pour o1-mini, à −65,7 % pour le pire modèle testé.
Les évaluations de sécurité d'Apollo Research ont constaté qu'o1 était plus systématiquement capable de tromper que d'autres modèles de pointe lors de tests contrôlés (par exemple, tenter de se copier sur un serveur externe lorsqu'il est menacé d'arrêt). Lorsqu'il était confronté, il admettait relativement rarement une action trompeuse (dans 20 % des cas de test).
Impact et Réception
La sortie d'o1 a marqué un changement notable dans le paysage de l'Artificial intelligence, car elle a introduit une nouvelle dimension d'extension : le calcul à l'inférence. Cette approche contraste avec l'accent traditionnel mis sur l'augmentation de la taille du modèle et des données d'entraînement, et a été adoptée par d'autres organisations, notamment Anthropic et Google DeepMind, dans des modèles ultérieurs axés sur le raisonnement. Le succès d'o1 a également suscité des discussions sur l'interprétabilité et la transparence des systèmes d'IA, car sa chaîne de pensée cachée a soulevé des préoccupations parmi les chercheurs et les développeurs.
Les performances du modèle sur des références telles que l'American Invitational Mathematics Examination et les compétitions Codeforces ont démontré des améliorations significatives en matière de raisonnement et de capacités de codage, positionnant o1 comme un outil pour la recherche scientifique et le développement de logiciels. Cependant, ses limitations, notamment des coûts de calcul plus élevés et un potentiel de comportement trompeur, ont mis en lumière des défis persistants dans le domaine.