En juin 2020, OpenAI a lancé l'API GPT-3, offrant un accès commercial à son modèle de langage de troisième génération. Cette sortie a marqué un tournant décisif dans la commercialisation de l'intelligence artificielle, car elle figurait parmi les premiers services payants largement disponibles pour un modèle de langage de grande taille de pointe. L'API permettait aux développeurs et aux entreprises externes d'intégrer GPT-3 dans leurs produits, contribuant ainsi à déclencher l'essor plus large de la IA générative dans les années suivantes.
L'API GPT-3 reposait sur l'architecture transformeur, introduite en 2017 par des chercheurs de Google. GPT-3 lui-même était un modèle de apprentissage profond avec 175 milliards de paramètres, entraîné sur un corpus diversifié de textes issus d'Internet. Il effectuait des tâches telles que la génération de texte, la traduction et la réponse à des questions sans entraînement spécifique à la tâche, une capacité connue sous le nom d'apprentissage en quelques exemples. L'API donnait accès à ce modèle via des points de terminaison cloud, offrant une interface plus simple que l'exécution locale du modèle.
Contexte
OpenAI a été fondée en décembre 2015 en tant qu'organisation de recherche à but non lucratif en IA à San Francisco, avec Elon Musk et Sam Altman comme coprésidents. Sa charte visait à garantir que l'intelligence artificielle générale profite à toute l'humanité. En 2019, OpenAI est passée à une structure à but lucratif « plafonnée », créant OpenAI LP, pour attirer des investissements et offrir une rémunération compétitive. Ce changement structurel a été crucial pour financer les coûts de calcul massifs de l'entraînement de modèles comme GPT-3, qui nécessitait une infrastructure importante.
L'idée d'une API a émergé alors qu'OpenAI cherchait à monétiser ses modèles tout en maintenant une supervision de la sécurité. Une version bêta privée de l'API GPT-3 a débuté en novembre 2019, et le lancement public a suivi en juin 2020. L'API était hébergée sur Azure, la plateforme cloud de Microsoft, à la suite d'un investissement de 1 milliard de dollars de Microsoft annoncé en juillet 2019. Ce partenariat a fourni les ressources informatiques nécessaires à l'entraînement et au déploiement de GPT-3.
Fonctionnalités et capacités
L'API GPT-3 exposait plusieurs points de terminaison pour la génération et la complétion de texte. Les utilisateurs pouvaient envoyer une invite, et le modèle renvoyait une continuation, avec des paramètres comme la température, top-k et top-p pour contrôler le caractère aléatoire et la diversité. L'API prenait également en charge le réglage fin pour des tâches personnalisées, bien que la version initiale se concentre sur l'interaction basée sur des invites.
Les développeurs pouvaient choisir parmi plusieurs tailles de modèles, allant d'un petit modèle « Ada » au modèle complet GPT-3 « Davinci », en équilibrant latence et précision. L'API prenait en charge des cas d'utilisation tels que la création de contenu, les chatbots, la génération de code et la recherche sémantique. Elle était remarquable pour son apprentissage en quelques exemples : avec quelques exemples dans l'invite, GPT-3 pouvait effectuer des tâches nouvelles sans entraînement supplémentaire, un changement par rapport aux approches traditionnelles de apprentissage automatique.
Impact commercial
L'API GPT-3 a été une percée commerciale pour OpenAI, établissant un modèle de revenus récurrents. D'ici mi-2021, des milliers de développeurs et des centaines d'entreprises utilisaient l'API, avec une tarification basée sur les jetons traités. Ce succès a ouvert la voie aux produits ultérieurs d'OpenAI, y compris ChatGPT (lancé en novembre 2022), qui a entraîné une adoption publique massive et a fait d'OpenAI une entreprise leader en IA.
L'API a également stimulé la concurrence. Des entreprises comme Anthropic et AI21 Labs ont rapidement lancé leurs propres API de modèles de langage, et des fournisseurs de cloud comme Amazon Web Services, Google Cloud et Oracle Cloud ont élargi leurs offres d'apprentissage automatique. Cet écosystème a accéléré l'intégration de l'IA générative dans diverses industries, du développement logiciel au marketing.
Architecture technique
GPT-3 était un réseau de neurones utilisant une architecture de transformeur à décodeur seul, une évolution de la conception originale du transformeur. Il employait l'attention multi-têtes et l'encodage positionnel pour traiter les séquences, et était entraîné à l'aide d'un apprentissage non supervisé sur un grand corpus de texte. Les 175 milliards de paramètres du modèle le rendaient colossal pour son époque, nécessitant une infrastructure d'entraînement spécialisée.
OpenAI a utilisé une plateforme de calcul superposée basée sur Azure pour l'entraînement, avec des milliers de GPU. L'API elle-même était servie via des requêtes HTTP, avec une authentification par clés API. En interne, le modèle était déployé sur des GPU NVIDIA, bien qu'OpenAI ait ensuite exploré des puces personnalisées avec Microsoft. La conception de l'API a influencé les efforts ultérieurs, y compris les méthodes de réglage fin RLHF (apprentissage par renforcement à partir de retours humains) utilisées pour ChatGPT.
Héritage et contexte plus large
L'API GPT-3 a démontré que l'accès commercial à des modèles d'IA avancés pouvait être viable, déplaçant l'industrie de la recherche pure à la livraison de produits. Elle a été un précurseur de l'écosystème d'API plus large, où des modèles comme GPT-4 et des systèmes multimodaux sont devenus disponibles à la demande. Cette évolution a également soulevé des problèmes d'utilisation abusive et de sécurité, conduisant OpenAI à mettre en œuvre des directives d'utilisation et des filtres de contenu.
Le lancement a coïncidé avec un intérêt croissant pour les capacités des modèles de langage de grande taille, et il a contribué à établir la IA générative comme un domaine grand public. Alors que des concurrents comme Google DeepMind et Anthropic ont fait progresser leurs propres modèles, l'API a établi un précédent pour la démocratisation de l'accès tout en conservant un contrôle central. Aujourd'hui, l'API GPT-3 est un jalon historique dans l'évolution de l'IA, soulignant le passage de la recherche expérimentale aux produits commerciaux.