Jais est un modèle de langage de grande taille open-source conçu pour générer du texte de haute qualité en arabe et en anglais. Lancé en août 2023, il a été développé grâce à une collaboration entre la société émiratie d'IA G42, l'Université Mohamed bin Zayed d'intelligence artificielle (MBZUAI) et l'entreprise américaine de matériel Cerebras Systems. Le modèle a été créé pour remédier à la sous-représentation de la langue arabe dans l'intelligence artificielle générative, visant à servir les 400 millions de locuteurs arabes dans le monde avec des sorties culturellement et linguistiquement précises. Son nom fait référence au Jebel Jais, la plus haute montagne des Émirats arabes unis.
Contexte et développement
Jais est né du constat que les modèles de langage de grande taille existants performaient souvent mal en arabe en raison de données d'entraînement limitées ou de faible qualité. Le projet représente un investissement significatif des Émirats arabes unis dans l'intelligence artificielle dans le cadre de leur stratégie nationale. Le partenariat de développement impliquait Inception (désormais Core42), une filiale de G42 ; MBZUAI, une université de recherche dédiée à l'IA ; et Cerebras Systems, qui a fourni du matériel spécialisé en IA. La collaboration visait à créer un modèle capable de gérer les divers dialectes et nuances culturelles de l'arabe, souvent négligés dans les modèles entraînés principalement sur des données anglaises.
Entraînement
La version initiale de Jais, publiée en août 2023, comptait 13 milliards de paramètres. En novembre 2023, Core42 a publié une version améliorée, Jais 30B, avec 30 milliards de paramètres. Les deux modèles ont été entraînés sur un sous-ensemble du supercalculateur Cerebras Condor Galaxy 1, un système informatique puissant conçu pour des tâches de apprentissage profond à grande échelle. L'ensemble de données d'entraînement comprenait un mélange d'arabe, d'anglais et de code informatique. Selon Timothy Baldwin, professeur de traitement du langage naturel à MBZUAI, l'entraînement sur un ensemble de données arabes diversifié permet au modèle de passer d'un dialecte à l'autre, améliorant ainsi son utilité pratique pour les locuteurs arabes.
Fonctionnalités
Jais est conçu pour générer du texte en anglais et en arabe, ce qui en fait un outil bilingue pour une large gamme d'applications. Le projet a également publié des variantes « Chat » ajustées par instructions pour les modèles 13B et 30B, spécifiquement optimisées pour les cas d'utilisation conversationnels. Ces variantes sont affinées pour suivre les instructions des utilisateurs et engager un dialogue, similaires à d'autres modèles basés sur transformers. Les versions futures prévoient d'inclure des fonctionnalités supplémentaires pour travailler avec des images, des graphiques et des données tabulaires, élargissant les capacités du modèle au-delà de la génération de texte.
Impact et signification
Jais contribue à la diversification du paysage des modèles de langage de grande taille, dominé par des modèles centrés sur l'anglais provenant d'entreprises comme OpenAI et Google DeepMind. En se concentrant sur l'arabe, Jais aide à combler le fossé de l'accessibilité à l'IA pour une large population historiquement mal desservie par les technologies existantes. La nature open-source du modèle permet aux chercheurs et aux développeurs de l'adapter et de l'améliorer, favorisant l'innovation dans le traitement du langage naturel arabe et les domaines connexes. À sa sortie, Jais représentait une étape notable vers une IA plus inclusive, bien que son impact à long terme dépende de l'adoption par la communauté et du développement continu.
Références
Liens externes
Site officiel