ERNIE (Enhanced Representation through Knowledge Integration) est une famille de modèles de langage de grande taille développée par l’entreprise technologique chinoise Baidu. Ces modèles sont conçus pour améliorer la compréhension et la génération du langage naturel en intégrant des connaissances externes, telles que des graphes de connaissances et des informations lexicales, dans le processus de pré-entraînement. Les modèles ERNIE ont été appliqués dans les produits de Baidu, notamment la recherche, la recommandation de nouvelles et l’IA conversationnelle, et ont également été publiés en tant que ressources open source pour la communauté de recherche.
La série ERNIE a débuté avec la publication du modèle ERNIE original en 2019, qui a étendu l’architecture Transformer (architecture) en intégrant des stratégies de masquage de connaissances pendant le pré-entraînement. Les versions suivantes, telles que ERNIE 2.0 et ERNIE 3.0, ont introduit l’apprentissage multitâche continu et des cadres de pré-entraînement unifiés, tandis que ERNIE 3.0 Titan, publié en 2021, a été étendu à 260 milliards de paramètres. Les modèles ont été évalués sur diverses tâches de traitement du langage naturel en chinois et en anglais, atteignant souvent des résultats de pointe au moment de leur publication.
Architecture et pré-entraînement
Les modèles ERNIE sont construits sur l’architecture Transformer (architecture), similaire à d’autres modèles de langage pré-entraînés comme BERT. L’innovation clé réside dans les objectifs de pré-entraînement, qui intègrent des tâches sensibles aux connaissances. Par exemple, l’ERNIE original utilise un masquage au niveau des entités et des phrases, où des entités entières ou des phrases sont masquées au lieu de jetons individuels, forçant le modèle à apprendre les relations sémantiques entre les mots. Cette approche exploite des techniques de Machine learning pour capturer à la fois des informations lexicales et syntaxiques.
ERNIE 2.0 a introduit un cadre d’apprentissage multitâche continu, où le modèle est entraîné sur une séquence de tâches, y compris des tâches sensibles aux mots, à la structure et à la sémantique. Cela permet au modèle d’apprendre à partir de signaux divers, tels que l’ordre des phrases et les relations discursives. ERNIE 3.0 a unifié le processus de pré-entraînement en combinant des objectifs autorégressifs et d’autoencodage, permettant au modèle de gérer à la fois des tâches de compréhension et de génération. L’architecture intègre également une conception de Neural network qui prend en charge une mise à l’échelle efficace.
Versions et publications
La famille ERNIE comprend plusieurs versions notables. ERNIE 1.0 a été publié en janvier 2019, suivi par ERNIE 2.0 en juillet 2019. ERNIE 3.0 est arrivé en juillet 2021, avec la variante Titan annoncée en décembre 2021, comportant 260 milliards de paramètres. En 2023, Baidu a introduit ERNIE Bot, un système d’IA conversationnelle construit sur l’architecture ERNIE 3.0, qui a été intégré dans le moteur de recherche de Baidu et d’autres services. Les modèles ont été rendus disponibles via le cadre Deep learning PaddlePaddle de Baidu, avec des points de contrôle open source pour les versions plus petites.
Applications et impact
Les modèles ERNIE ont été déployés dans diverses applications d’Artificial intelligence, en particulier dans le traitement du langage chinois. Ils alimentent la compréhension sémantique du moteur de recherche de Baidu, permettant une correspondance de requêtes et un classement de documents plus précis. ERNIE est également utilisé dans le système de recommandation de flux de nouvelles de Baidu, améliorant la personnalisation du contenu. Dans le domaine de l’IA conversationnelle, ERNIE Bot fournit une interaction en langage naturel pour le service client et les assistants virtuels. Les modèles ont également été adoptés par des développeurs et des chercheurs externes, contribuant aux avancées dans les tâches de traitement du langage naturel chinois telles que la reconnaissance d’entités nommées et l’analyse des sentiments.
Comparaisons et écosystème
ERNIE est souvent comparé à d’autres modèles de langage de grande taille comme la série GPT d’OpenAI et les modèles de Google DeepMind. Alors que GPT se concentre sur les tâches génératives, ERNIE met l’accent sur l’intégration des connaissances, ce qui le rend particulièrement efficace pour les tâches nécessitant une compréhension factuelle. Baidu a positionné ERNIE comme un composant central de sa stratégie d’IA, en concurrence avec les modèles d’Alibaba Cloud et d’autres entreprises technologiques chinoises. Les modèles sont entraînés sur l’infrastructure cloud Amazon Web Services et Microsoft Azure, bien que Baidu exploite également ses propres services cloud. Le développement d’ERNIE a été soutenu par des recherches d’institutions comme MIT CSAIL et Stanford AI Lab, bien que le travail principal soit effectué dans les laboratoires de recherche de Baidu.
Orientations futures
En 2024, Baidu continue d’itérer sur la série ERNIE, avec des recherches en cours sur les capacités multimodales et les améliorations d’efficacité. Les modèles devraient évoluer avec les avancées dans les techniques de Generative AI et de Reinforcement learning, incorporant potentiellement le retour humain pour l’alignement. Les publications open source d’ERNIE ont favorisé une communauté de développeurs, et les versions futures pourraient se concentrer sur la réduction des coûts de calcul grâce à Model Pruning et d’autres méthodes d’optimisation. La trajectoire d’ERNIE reflète des tendances plus larges dans le domaine de l’Artificial intelligence, où les modèles enrichis en connaissances sont de plus en plus importants pour les applications réelles.