IBM Granite est une série de modèles de langage de grande taille et de modèles de base créés par IBM. Annoncée le 7 septembre 2023, avec un article initial publié quatre jours plus tard, les modèles ont d'abord été conçus pour la plateforme cloud de données et d'IA générative d'IBM, Watsonx, aux côtés d'autres modèles. IBM a ensuite ouvert le code source de certaines variantes axées sur le code, les rendant librement disponibles sous une licence permissive.
Les modèles Granite sont entraînés sur des ensembles de données soigneusement sélectionnés provenant d'Internet, de publications académiques, de référentiels de code, et de documents juridiques et financiers. La série englobe une gamme de tailles de paramètres, de 3 milliards à 34 milliards, répondant à différents besoins de déploiement.
Architecture des modèles de base
Un modèle de base est un modèle d'IA entraîné sur des données vastes à grande échelle, permettant une adaptation à une large gamme de tâches en aval. Les modèles IBM Granite sont des transformeurs à décodeur uniquement, une architecture courante pour les modèles de langage génératifs qui prédit le jeton suivant dans une séquence. Les premiers modèles de base, Granite.13b.instruct et Granite.13b.chat, avaient chacun 13 milliards de paramètres, ce qui était plus petit que de nombreux grands modèles contemporains. Des variantes ultérieures ont élargi la gamme de 3 milliards à 34 milliards de paramètres, offrant une flexibilité pour différents budgets computationnels et cas d'utilisation.
La curation des données d'entraînement a mis l'accent sur la qualité et la diversité, incorporant des sources comme des articles académiques, des ensembles de données de code, et des domaines spécialisés tels que le droit et la finance. Cette approche visait à améliorer les performances sur des tâches orientées entreprise, un objectif clé pour les offres commerciales d'IBM.
Publication et modèles de code open source
Le 6 mai 2024, IBM a publié le code source de quatre variantes des modèles de code Granite sous la licence Apache 2.0, une licence open source permissive qui permet une utilisation, une modification et un partage gratuits. Ces modèles ont été mis à disposition sur Hugging Face, une plateforme populaire pour héberger des modèles d'IA. Selon les rapports internes d'IBM, le modèle Granite 8b a surpassé Llama 3 sur plusieurs benchmarks liés au codage dans une gamme de paramètres similaire, soulignant ses performances compétitives en génération et compréhension de code.
La publication open source faisait partie d'une stratégie plus large visant à favoriser l'adoption et la collaboration communautaires, contrastant avec certains modèles propriétaires d'autres fournisseurs. IBM a positionné Granite comme une alternative flexible pour les entreprises cherchant des solutions d'IA personnalisables.
Applications et écosystème
Les modèles Granite sont intégrés dans la plateforme Watsonx d'IBM, qui fournit des outils pour l'analyse de données, l'IA générative et le déploiement de modèles. Les modèles sont utilisés pour des tâches telles que la génération de code, le résumé de documents et la réponse à des questions, en particulier dans des secteurs réglementés comme la finance et le droit, où la confidentialité des données et la conformité sont critiques. En offrant à la fois un accès open source et cloud, IBM visait à servir une large gamme de clients, des startups aux grandes entreprises.
La publication des modèles de code open source a également permis à des développeurs tiers d'affiner et de déployer Granite sur leur propre infrastructure, y compris sur Amazon Web Services et d'autres fournisseurs cloud. Cette approche écosystémique reflétait les tendances de la communauté IA plus large, où des modèles ouverts comme LLaMA et Mistral AI ont gagné en popularité.
Performances et comparaisons
IBM a publié des benchmarks montrant que les modèles Granite obtiennent des résultats compétitifs sur des tâches standard de traitement du langage naturel et de codage. Par exemple, le modèle Granite 8b aurait surpassé Llama 3 sur des benchmarks de codage, malgré un nombre similaire de paramètres. Cependant, la vérification indépendante de ces affirmations est limitée, et les performances peuvent varier selon la tâche spécifique et la méthodologie d'évaluation. Les modèles sont conçus pour être efficaces, avec des variantes plus petites adaptées au déploiement en périphérie et des variantes plus grandes pour des charges de travail cloud.
Voir aussi
- Mistral AI, une entreprise qui fournit également des modèles open source
- GPT
- LLaMA
- Gemini
Références
(Aucun lien externe n'est inclus conformément au style de l'article.)