GPT-J, également connu sous le nom de GPT-J-6B, est un modèle de langage de grande taille open source développé par EleutherAI en 2021. Il s'agit d'un transformeur pré-entraîné génératif conçu pour produire un texte semblable à celui d'un humain, poursuivant une invite donnée. Le « 6B » dans son nom fait référence à ses 6 milliards de paramètres. Le modèle est disponible sur GitHub, bien que son interface web ne communique plus avec le modèle et que son développement ait cessé en 2021.
Architecture
GPT-J est un modèle de type GPT-3 avec 6 milliards de paramètres. Comme GPT-3, il s'agit d'un modèle transformeur autorégressif, uniquement décodeur, destiné aux tâches de traitement du langage naturel en prédisant comment un texte se poursuivra. L'architecture comprend 28 couches de transformeur et 16 têtes d'attention, avec une taille de vocabulaire de 50 257 jetons, correspondant au vocabulaire de GPT-2. Sa fenêtre de contexte prend en charge 2 048 jetons.
Le modèle a été entraîné sur l'ensemble de données Pile, un corpus organisé à grande échelle, en utilisant la bibliothèque Mesh Transformer JAX dans JAX pour gérer la parallélisation. Cette approche d'entraînement a permis à EleutherAI de construire un modèle compétitif sans les ressources propriétaires des grandes organisations.
Capacités et limites
GPT-J a été conçu pour générer du texte en anglais à partir d'une invite, en poursuivant de manière cohérente et contextuellement plausible. Il n'a pas été conçu pour traduire ou générer du texte dans d'autres langues, ni pour effectuer des tâches sans un réglage fin préalable. Comme tous les grands modèles de langage, il n'est pas programmé pour fournir des informations factuellement exactes ; il génère du texte basé sur une probabilité statistique plutôt que sur des connaissances vérifiées.
Sa nature open source en a fait un choix populaire pour les chercheurs et développeurs cherchant un modèle librement accessible pour l'expérimentation, la recherche en apprentissage automatique et des applications personnalisées. Cependant, ses limites en matière d'exactitude factuelle et de support multilingue signifiaient qu'il nécessitait une utilisation prudente et souvent un réglage fin supplémentaire pour des domaines spécifiques.
Développement et publication
EleutherAI, un collectif de chercheurs en IA, a publié GPT-J en 2021 dans le cadre d'un effort pour démocratiser l'accès aux grands modèles de langage. Le modèle a été mis à disposition sur GitHub, permettant à quiconque de le télécharger et de l'utiliser. La publication a suivi des modèles antérieurs d'EleutherAI, tels que GPT-Neo, et a positionné GPT-J comme un successeur plus grand et plus performant.
Malgré son succès initial, le développement s'est arrêté en 2021. L'interface web qui permettait autrefois aux utilisateurs d'interagir avec le modèle ne fonctionne plus, bien que les fichiers du modèle sous-jacent restent accessibles pour une utilisation locale. Cette cessation reflète le changement plus large dans le domaine vers des modèles encore plus grands et des priorités de recherche en évolution.
Impact et héritage
GPT-J a contribué à l'écosystème croissant de modèles IA générative open source, démontrant que des modèles de langage de haute qualité pouvaient être construits par des efforts communautaires plutôt que uniquement par de grandes entreprises. Il a influencé les projets open source ultérieurs et a fourni une référence pour comparer les performances des modèles à travers différentes architectures et ensembles de données d'entraînement.
Sa publication a également souligné l'importance de la transparence dans le développement de l'IA, car EleutherAI a publié une documentation détaillée et des détails d'entraînement. Bien que GPT-J lui-même ne soit plus activement développé, ses choix architecturaux et sa méthodologie d'entraînement continuent d'informer la recherche en apprentissage profond et en traitement du langage naturel.
Références
EleutherAI a publié GPT-J sur GitHub, avec une documentation couvrant son architecture, ses données d'entraînement et son utilisation. La conception du modèle s'appuie sur des concepts issus de transformeurs antérieurs, notamment attention multi-têtes et encodage positionnel, qui sont standard dans les modèles de langage modernes.