CPM-1 (Chinese Pretrained Model) est un modèle de langage à grande échelle développé par des chercheurs de l'Université Tsinghua, publié en 2020. Avec 2,6 milliards de paramètres, il a été l'un des premiers grands modèles pré-entraînés spécifiquement conçus pour la langue chinoise, visant à faire progresser les tâches de traitement du langage naturel en chinois. Le modèle s'appuie sur l'architecture Transformer (architecture), devenue fondamentale dans la recherche moderne en Deep learning et en Large language model.
CPM-1 a été créé pour remédier à la rareté des modèles pré-entraînés à grande échelle pour le chinois, car la plupart des premiers efforts se concentraient sur l'anglais. Il a été entraîné sur un corpus diversifié de textes chinois, comprenant des pages web, des livres et d'autres sources, lui permettant d'effectuer des tâches telles que la génération de texte, le résumé et la réponse à des questions. La publication du modèle a contribué à l'écosystème croissant des systèmes de Generative AI et a souligné l'importance du développement de modèles multilingues.
Architecture et entraînement
CPM-1 utilise une architecture Transformer avec décodeur seul, similaire à des modèles comme GPT, mais adaptée à la tokenisation chinoise. Il utilise un vocabulaire de caractères chinois et de sous-mots, permettant un traitement efficace du texte chinois. Le modèle possède 2,6 milliards de paramètres, ce qui, à l'époque de sa publication, était parmi les plus grands pour les modèles de langue chinoise. L'entraînement a été réalisé sur un cluster à grande échelle, en exploitant des techniques telles que le Gradient Clipping et le Learning Rate Scheduling pour stabiliser l'optimisation. Les données d'entraînement comprenaient plus de 100 gigaoctets de texte chinois, provenant de crawls web publics et de jeux de données organisés, garantissant une large couverture linguistique.
Le modèle a été entraîné avec un objectif auto-supervisé, spécifiquement le masquage de langage, où des parties de l'entrée sont cachées et le modèle apprend à les prédire. Cette approche, courante en Machine learning, permet au modèle de capturer les relations contextuelles et les schémas linguistiques sans nécessiter de données étiquetées. Le processus d'entraînement a pris plusieurs semaines sur plusieurs GPU, reflétant les exigences computationnelles du pré-entraînement à grande échelle.
Capacités et applications
CPM-1 démontre de solides performances sur une variété de tâches de compréhension et de génération du langage naturel chinois. Il peut produire un texte cohérent et contextuellement pertinent, ce qui le rend utile pour des applications telles que les chatbots, la création de contenu et la traduction linguistique. Dans les benchmarks, il a montré des résultats compétitifs par rapport aux modèles centrés sur l'anglais lorsqu'il est évalué sur des jeux de données chinois, indiquant son efficacité à capturer les nuances spécifiques au chinois.
Les chercheurs et développeurs ont utilisé CPM-1 comme base pour un affinage sur des tâches en aval spécifiques, telles que l'analyse des sentiments, la reconnaissance d'entités nommées et la classification de texte. Sa publication a également stimulé davantage de recherches sur les modèles pré-entraînés chinois, y compris des versions ultérieures comme CPM-2, qui ont élargi le nombre de paramètres et amélioré les techniques d'entraînement. La nature open-source du modèle a permis à la communauté d'expérimenter et de s'appuyer dessus, favorisant l'innovation dans le NLP chinois.
Impact et signification
La publication de CPM-1 en 2020 a marqué une étape importante dans la démocratisation des grands modèles de langage pour les langues non anglaises. Il a démontré que des modèles à haute capacité pouvaient être entraînés efficacement sur des données chinoises, remettant en question la domination des modèles centrés sur l'anglais. Le projet faisait partie d'une tendance plus large dans la recherche en Artificial intelligence, où des institutions comme Tsinghua University et d'autres universités chinoises ont commencé à contribuer de manière significative au domaine.
Le modèle a également souligné l'importance des ressources computationnelles et de la disponibilité des données dans le développement de systèmes d'IA à grande échelle. Son entraînement a nécessité une infrastructure substantielle, similaire aux efforts d'organisations comme OpenAI et Google DeepMind, mais avec un accent sur le chinois. Le succès de CPM-1 a encouragé davantage d'investissements dans les modèles multilingues, conduisant à des technologies d'IA plus inclusives qui servent diverses communautés linguistiques.
Limites et orientations futures
Malgré ses réalisations, CPM-1 présente des limites. Son nombre de paramètres, bien que grand pour son époque, est plus petit que celui des modèles ultérieurs, ce qui peut affecter les performances sur des tâches complexes. Le modèle peut également présenter des biais présents dans ses données d'entraînement, un problème courant dans les systèmes de Neural network. De plus, son accent sur le chinois limite son applicabilité à d'autres langues, bien que des versions ultérieures aient exploré des capacités multilingues.
Les travaux futurs dans ce domaine incluent l'augmentation de la taille des modèles, l'amélioration de l'efficacité de l'entraînement et l'incorporation de sources de données plus diverses. Les chercheurs continuent d'affiner les architectures et les méthodes d'entraînement, en s'appuyant sur les fondations posées par CPM-1. En 2025, des modèles chinois plus grands et plus performants ont émergé, mais CPM-1 reste une référence historique significative dans l'évolution du développement des Large language model.