Baidu ERNIE (Enhanced Representation through kNowledge IntEgration) est une famille de grands modèles de langage développée par l'entreprise technologique chinoise Baidu. Les modèles ERNIE sont conçus pour améliorer la compréhension et la génération du langage naturel en intégrant des graphes de connaissances et d'autres sources de connaissances externes dans le processus d'entraînement. La série a évolué à travers plusieurs itérations, chacune améliorant la précédente en termes d'échelle, de capacité et de champ d'application.
Historique et développement
Le projet ERNIE a débuté chez Baidu en 2018, avec le premier modèle ERNIE publié en 2019. La version initiale, ERNIE 1.0, était construite sur l'architecture Transformer (architecture) et introduisait une nouvelle stratégie de modélisation de langage masqué intégrant un masquage au niveau des phrases et des entités, permettant au modèle de mieux capturer les relations sémantiques. En 2020, Baidu a publié ERNIE 2.0, qui introduisait un cadre d'apprentissage multitâche permettant au modèle d'apprendre simultanément à partir de diverses tâches, y compris des tâches de prédiction au niveau des mots et des structures.
ERNIE 3.0, publié en 2021, a marqué une avancée significative en combinant un réseau neuronal avec une approche d'entraînement enrichie par les connaissances. Il intégrait un cadre de pré-entraînement unifié capable de traiter à la fois les tâches de compréhension et de génération du langage naturel. Le modèle a été entraîné sur un corpus massif de textes en chinois et en anglais, et il a démontré de solides performances sur des références telles que GLUE et SuperGLUE.
En 2023, Baidu a dévoilé ERNIE 4.0, qui a encore augmenté l'échelle du modèle et introduit des améliorations en matière de raisonnement, de génération et de capacités multimodales. ERNIE 4.0 est intégré aux services cloud de Baidu et est disponible via une API, ce qui le rend accessible aux développeurs et aux entreprises.
Architecture et entraînement
Les modèles ERNIE utilisent une architecture basée sur Transformer (architecture), similaire à celle d'autres grands modèles de langage comme la série GPT de OpenAI et les modèles de Google DeepMind. Cependant, ERNIE se distingue en intégrant des plongements de graphes de connaissances et des objectifs d'entraînement sensibles aux entités. Les modèles sont pré-entraînés sur de vastes corpus de textes, y compris des pages web, des livres et des sources encyclopédiques, avec un accent particulier sur les données en langue chinoise.
Le processus d'entraînement comporte plusieurs étapes, notamment la modélisation de langage masqué, la prédiction de phrases suivantes et des tâches enrichies par les connaissances. Par exemple, ERNIE 3.0 a introduit un mécanisme novateur d'« attention enrichie par les connaissances » qui permet au modèle de prêter attention aux entités pertinentes d'un graphe de connaissances lors de l'inférence.
Applications et écosystème
Les modèles ERNIE sont utilisés dans un large éventail d'applications, notamment les moteurs de recherche, les systèmes de dialogue, la classification de textes, l'analyse des sentiments et les systèmes de questions-réponses. Baidu a intégré ERNIE dans son moteur de recherche pour améliorer la compréhension des requêtes et la pertinence des résultats. Les modèles sont également disponibles via la plateforme de cloud computing de Baidu, permettant aux développeurs de créer des applications personnalisées.
En plus des modèles ERNIE de base, Baidu a publié des variantes spécialisées telles que ERNIE-Tiny pour les appareils mobiles et périphériques, et ERNIE-M pour les tâches multilingues. L'écosystème ERNIE comprend également des outils de fine-tuning et de déploiement, tels que le framework d'apprentissage profond PaddlePaddle, qui est la plateforme open source de Baidu pour le apprentissage automatique.
Performance et impact
Les modèles ERNIE ont obtenu des résultats de pointe sur plusieurs références en langue chinoise, notamment CLUE (Chinese Language Understanding Evaluation) et CMRC (Chinese Machine Reading Comprehension). Les modèles ont également obtenu des performances compétitives sur des références internationales, démontrant leur efficacité à travers les langues.
La publication d'ERNIE a contribué à l'avancement de l'IA générative en Chine et a positionné Baidu comme un acteur de premier plan dans ce domaine. Les modèles sont largement utilisés dans l'industrie, en particulier dans des secteurs tels que la finance, la santé et le commerce électronique, où une compréhension précise du langage est essentielle.
Réception et controverses
ERNIE a été bien accueilli dans les communautés académiques et industrielles pour son approche novatrice de l'intégration des connaissances. Cependant, comme d'autres grands modèles de langage, il a soulevé des préoccupations concernant les biais, la confidentialité et le potentiel de mauvaise utilisation. Baidu a mis en œuvre des mesures de sécurité, notamment le filtrage de contenu et des directives éthiques, pour atténuer ces risques.
En 2023, ERNIE est devenu le sujet d'une attention internationale lorsque Baidu a annoncé son intention de l'intégrer dans son moteur de recherche, suscitant des discussions sur le rôle de l'IA dans la recherche d'informations et le paysage concurrentiel avec d'autres géants de la technologie.
Voir aussi
Références
- Sun, Y., et al. (2019). ERNIE: Enhanced Representation through Knowledge Integration. Prépublication arXiv.
- Sun, Y., et al. (2020). ERNIE 2.0: A Continual Pre-training Framework for Language Understanding. Prépublication arXiv.
- Wang, S., et al. (2021). ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. Prépublication arXiv.
- Baidu Research. (2023). ERNIE 4.0: Advancing Large Language Models. Blog IA de Baidu.