GLM-130B est un modèle de langage de grande taille développé par des chercheurs de l'Université Tsinghua et publié en 2022. Avec 130 milliards de paramètres, il a été conçu comme un modèle open source et bilingue, prenant en charge à la fois l'anglais et le chinois, une distinction notable par rapport à de nombreux modèles contemporains qui étaient soit propriétaires, soit principalement axés sur l'anglais. Le modèle repose sur l'architecture General Language Model (GLM), qui combine des aspects des conceptions transformeur basées sur encodeur-décodeur avec une génération autorégressive, lui permettant de traiter efficacement à la fois les tâches de compréhension et de génération.
Le projet a été lancé pour combler le fossé croissant entre les modèles de langage propriétaires de grande taille et les alternatives publiquement disponibles. En publiant les poids du modèle et le code d'entraînement, les développeurs visaient à fournir à la communauté de recherche un outil puissant pour étudier et faire progresser les capacités des modèles de langage de grande taille, en particulier dans des contextes multilingues. GLM-130B a été entraîné sur un corpus diversifié de textes en anglais et en chinois, et ses performances ont été évaluées par rapport à plusieurs modèles importants de l'époque, notamment OpenAI GPT-3 et d'autres systèmes à grande échelle.
Architecture et entraînement
GLM-130B utilise une architecture unique qui intègre un mécanisme d'attention bidirectionnelle pour les tâches de compréhension avec une composante unidirectionnelle et autorégressive pour la génération. Cette approche hybride, détaillée dans le cadre GLM, permet au modèle d'exceller dans des tâches telles que la classification de texte, le question-réponse et le résumé, tout en produisant un texte cohérent et contextuellement pertinent. Le modèle utilise un mécanisme de attention multi-têtes et intègre des normalisations de couche et des connexions réseau résiduel pour stabiliser l'entraînement et améliorer le flux de gradient.
L'entraînement a été réalisé sur un grand cluster de GPU, utilisant des techniques telles que le écrêtage de gradient et le plan de taux d'apprentissage pour garantir la convergence. Le modèle a été entraîné avec un mélange de données en anglais et en chinois, avec un tokenizer conçu pour gérer efficacement les deux langues. Le processus d'entraînement a également employé le élagage de modèle et d'autres stratégies d'optimisation pour réduire l'empreinte mémoire et améliorer la vitesse d'inférence, rendant le modèle plus accessible pour un déploiement sur du matériel standard.
Performances et évaluation
Lors des évaluations de référence, GLM-130B a démontré des performances compétitives par rapport à d'autres grands modèles, en particulier dans les tâches en langue chinoise où il surpassait souvent les modèles entraînés principalement sur des données anglaises. Sur les références anglaises telles que LAMBADA et MMLU, il a obtenu des résultats comparables ou supérieurs à ceux de GPT-3, malgré un nombre de paramètres inférieur à celui de certains concurrents. Les capacités bilingues du modèle ont été mises en évidence dans des tâches interlingues, où il a montré de fortes capacités d'apprentissage par transfert.
Cependant, le modèle présentait également des limitations courantes chez les grands modèles de langage de son époque, notamment des inexactitudes factuelles occasionnelles et une sensibilité à la formulation des invites. Les développeurs ont publié des résultats d'évaluation détaillés, y compris des comparaisons avec des modèles comme Google DeepMind Chinchilla et Anthropic Claude, afin de fournir une transparence sur ses forces et ses faiblesses.
Impact open source
L'une des contributions les plus significatives de GLM-130B était sa nature open source. À une époque où de nombreux modèles de premier plan étaient propriétaires, GLM-130B a fourni aux chercheurs un accès à un modèle de pointe, permettant des études sur l'interprétabilité, le réglage fin et la sécurité. La publication incluait non seulement les poids du modèle, mais aussi le code d'entraînement et une documentation détaillée, favorisant une communauté de développeurs qui ont construit sur le modèle pour diverses applications.
La publication du modèle a également suscité des discussions sur la démocratisation de l'intelligence artificielle et l'importance de la recherche ouverte dans le domaine. Il a servi de base à des variantes ultérieures de GLM, y compris des modèles plus grands et plus efficaces, et a influencé le développement d'autres initiatives open source dans le apprentissage automatique et le apprentissage profond.
Limitations et considérations éthiques
Comme d'autres grands modèles de langage, GLM-130B soulève des préoccupations éthiques liées aux biais, à la désinformation et à un éventuel usage abusif. Les données d'entraînement, tirées d'Internet, peuvent contenir des biais que le modèle peut amplifier. Les développeurs ont reconnu ces problèmes et recommandé une utilisation prudente, y compris une supervision humaine dans les applications où les sorties du modèle pourraient avoir des conséquences significatives. Ils ont également fourni des directives pour un déploiement responsable, soulignant la nécessité de transparence et de responsabilité.
Les limitations techniques incluaient une empreinte mémoire relativement importante, nécessitant des ressources de calcul substantielles pour l'inférence. Les performances du modèle sur des langues autres que l'anglais et le chinois étaient limitées, reflétant l'accent mis sur ses données d'entraînement. Au moment de sa publication, GLM-130B représentait une avancée significative dans l'IA open source, mais il mettait également en évidence les défis persistants liés à la création de modèles à la fois puissants et sûrs.
Héritage et influence
Le développement de GLM-130B a contribué à la tendance plus large des modèles de langage open source de grande taille, influençant des projets ultérieurs tels que LLaMA et d'autres. Son architecture et ses méthodologies d'entraînement ont été citées dans de nombreux articles de recherche, et ses capacités bilingues ont inspiré des efforts similaires dans d'autres langues. Le modèle reste un point de référence pour les chercheurs étudiant les lois de mise à l'échelle des modèles réseaux neuronaux et les compromis entre taille du modèle, données et performances.
En 2024, GLM-130B n'est plus le modèle le plus grand ou le plus avancé disponible, mais son impact sur le domaine est durable. Il a démontré que des modèles open source de haute qualité pouvaient rivaliser avec les modèles propriétaires, ouvrant la voie à une approche plus inclusive et collaborative de la recherche en IA.