Generative Pre-trained Transformer 2 (GPT-2) est un modèle de langage de grande taille développé par OpenAI et le deuxième de leur série fondatrice de modèles GPT. Il a été pré-entraîné sur un ensemble de données de 8 millions de pages web et a été partiellement publié en février 2019, suivi de la publication complète du modèle de 1,5 milliard de paramètres le 5 novembre 2019. GPT-2 a été créé comme une mise à l'échelle directe de son prédécesseur, GPT-1, avec une augmentation décuplée du nombre de paramètres et de la taille de l'ensemble de données d'entraînement. C'est un apprenant polyvalent dont la capacité à effectuer diverses tâches découlait de sa capacité générale à prédire avec précision l'élément suivant d'une séquence, lui permettant de traduire des textes, de répondre à des questions, de résumer des passages et de générer des sorties textuelles parfois impossibles à distinguer de l'écriture humaine, bien qu'il puisse devenir répétitif ou incohérent dans de longs passages.
GPT-2, comme ses prédécesseurs et successeurs, utilise une architecture de transformateur génératif pré-entraîné, implémentant un réseau de neurones profond qui repose sur des mécanismes d'attention plutôt que sur des architectures plus anciennes basées sur la récurrence et la convolution. Cela permet au modèle de se concentrer sélectivement sur les segments d'entrée pertinents et augmente considérablement la parallélisation, surpassant les références précédentes pour les modèles RNN/CNN/LSTM. Il a été supplanté par GPT-3 et GPT-4, qui ne sont plus open source.
Entraînement
Étant donné que l'architecture transformateur permettait une parallélisation massive, les modèles GPT pouvaient être entraînés sur des corpus plus volumineux que les modèles précédents de traitement du langage naturel. Alors que GPT-1 démontrait que l'approche était viable, GPT-2 explorait les propriétés émergentes des réseaux entraînés sur des corpus extrêmement volumineux. CommonCrawl, un grand corpus issu du web, a été envisagé mais rejeté en raison de grandes quantités de contenu inintelligible. À la place, OpenAI a développé un nouveau corpus appelé WebText, généré en extrayant uniquement les pages liées par des publications Reddit ayant reçu au moins 3 points de karma avant décembre 2017. Le corpus a été nettoyé en analysant le HTML en texte brut, en éliminant les pages dupliquées et en supprimant les pages Wikipédia pour éviter le surapprentissage.
La documentation sur le coût d'entraînement est limitée. Selon une déclaration d'Andrej Karpathy, GPT-2 a été entraîné sur 32 puces TPU v3 pendant 168 heures (7 jours) à environ 8 $ par TPU v3 par heure, totalisant environ 43 000 $ en coût de calcul. D'autres sources citent un coût d'entraînement d'environ 256 $ par heure. Des modèles comparables comme BERT et XLNet ont consommé respectivement 6 912 $ et 245 000 $ de ressources.
Publication
GPT-2 a été annoncé pour la première fois le 14 février 2019. Un article de février 2019 dans The Verge par James Vincent a noté que, bien que l'écriture qu'il produit soit généralement facilement identifiable comme non humaine, il restait l'un des exemples les plus passionnants de programmes de génération de langage. The Guardian a décrit sa sortie comme une prose journalistique plausible, et Kelsey Piper de Vox a déclaré que c'était l'un des systèmes d'IA les plus cool qu'elle ait jamais vus. The Verge a souligné sa flexibilité pour traduire des textes, résumer des articles et répondre à des questions de trivia. La série GPT-2 contenait quatre modèles, rapportés dans l'article, qui n'ont pas été publiés tous en même temps mais par étapes.
Restrictions et publication partielle
Contrairement aux modèles OpenAI précédents, OpenAI a initialement refusé de rendre publique la publication du code source de GPT-2, citant le risque d'utilisation malveillante. Un accès limité a été accordé à certains organes de presse sélectionnés. Une justification était que le texte généré pourrait être utilisé par des spammeurs pour contourner les filtres ; OpenAI a démontré une version affinée pour générer des avis de produits positifs ou négatifs infinis. Une autre justification était le potentiel de génération de texte obscène ou raciste. Des chercheurs comme Jeremy Howard ont averti que la technologie pourrait remplir les médias sociaux de prose au son raisonnable, et l'Allen Institute for Artificial Intelligence a annoncé un outil pour détecter les fausses nouvelles neuronales.
Les opinions étaient divisées. Un article de février 2019 dans The Verge a soutenu que la menace était exagérée. Anima Anandkumar, professeur à Caltech et directrice de la recherche en apprentissage automatique chez Nvidia, a déclaré qu'il n'y avait aucune preuve que GPT-2 posait les menaces décrites et a caractérisé le refus comme l'opposé de l'ouverture. The Gradient a publié une lettre ouverte demandant la publication publique, comparant la menace à celle de la presse à imprimer et citant Photoshop comme exemple d'une technologie qui n'avait pas détruit la société malgré son potentiel de chaos.
Publication de la version 774M
Bien qu'OpenAI n'ait pas publié le modèle entièrement entraîné ou les corpus, les descriptions des méthodes et la disponibilité gratuite de la technologie sous-jacente ont permis à d'autres de les répliquer. Une réplication, OpenGPT-2, a été publiée en août 2019 avec une version sous licence libre de WebText appelée OpenWebText, avec des coûts de calcul cloud d'environ 50 000 $. Le 20 août 2019, OpenAI a publié une version partielle de GPT-2 avec 774 millions de paramètres, environ la moitié de la taille du modèle complet, suivie de la publication complète de 1,5 milliard de paramètres le 5 novembre 2019.
Impact et héritage
La publication progressive de GPT-2 a suscité des débats sur la sécurité de l'IA et l'ouverture dans la communauté de l'intelligence artificielle. Elle a démontré que les modèles d'apprentissage profond à grande échelle pouvaient effectuer plusieurs tâches sans entraînement explicite, influençant les recherches ultérieures en IA générative. L'architecture et l'approche d'entraînement du modèle sont devenues une base pour les développements ultérieurs, y compris GPT-3 et au-delà, et sa stratégie de publication a établi un précédent pour la manière dont OpenAI et d'autres organisations, telles que Anthropic et Google DeepMind, gèrent le déploiement de modèles de langage puissants. GPT-2 a également mis en évidence le potentiel de mauvaise utilisation, conduisant au développement d'outils de détection et à des discussions sur la publication responsable de l'IA.
Détails techniques
Le modèle GPT-2 utilise une architecture de transformateur décodeur seul avec attention multi-têtes et encodage positionnel. Il a été entraîné à l'aide de l'optimiseur Adam avec un calendrier de taux d'apprentissage et un écrêtage de gradient. Les tailles de modèle variaient de 117 millions à 1,5 milliard de paramètres, la version la plus grande utilisant 48 couches et des plongements de dimension 1600. Pendant l'inférence, GPT-2 utilise un échantillonnage top-k et une mise à l'échelle de température pour générer un texte diversifié. Ses données d'entraînement, WebText, ont été conçues pour éviter le bruit du grattage web indiscriminé, en se concentrant sur des liens de haute qualité et organisés par des humains provenant de Reddit.
Réception et critiques
La réception initiale était mitigée, avec des éloges pour ses réalisations techniques et des critiques de sa publication restreinte. Certains chercheurs ont soutenu que les préoccupations de sécurité étaient exagérées, tandis que d'autres ont soutenu l'approche prudente. La capacité du modèle à générer un texte cohérent à partir d'invites minimales a été considérée comme une avancée significative dans le apprentissage automatique, mais ses limitations, telles que la répétition dans les sorties longues, ont également été notées. La publication de GPT-2 a influencé les efforts open source ultérieurs et les discussions politiques sur la gouvernance de l'IA, contribuant au domaine plus large de l'éthique de l'intelligence artificielle.