DBRX est un modèle de langage de grande taille (LLM) développé par Mosaic sous sa société mère Databricks. Publié le 27 mars 2024 sous la licence Databricks Open Model License, il s'agit d'un modèle transformeur à mélange d'experts avec 132 milliards de paramètres au total, dont 36 milliards sont actifs pour chaque jeton. La publication comprend à la fois un modèle de fondation de base et une variante affinée par instructions, conçus pour concurrencer les principaux modèles ouverts et propriétaires en matière de compréhension du langage, de programmation et de mathématiques.
L'architecture et l'approche d'entraînement du modèle reflètent une tendance plus large dans IA générative vers une mise à l'échelle efficace, utilisant une activation éparse pour réduire le coût de calcul tout en maintenant une capacité élevée. DBRX a été positionné comme un challenger direct des autres modèles à poids ouverts, et ses performances à la publication ont établi une nouvelle référence pour les systèmes disponibles publiquement.
Architecture et conception
DBRX utilise une architecture à mélange d'experts (MoE), une variante du modèle transformeur qui achemine chaque jeton à travers un sous-ensemble de réseaux experts. Le modèle contient 16 experts, avec 4 activés par jeton, ce qui donne 36 milliards de paramètres actifs sur 132 milliards au total. Cette conception éparse réduit le calcul d'inférence et d'entraînement par rapport à un modèle dense de taille similaire.
Le modèle utilise une structure transformeur standard à décodeur seul avec attention multi-têtes et encodage positionnel, mais intègre un routage fin des experts pour améliorer la spécialisation. Chaque expert est un réseau feedforward, et un mécanisme de gating appris sélectionne quels experts traitent chaque jeton. Cette approche permet au modèle d'allouer dynamiquement sa capacité, similaire à d'autres systèmes MoE comme Mixtral.
DBRX inclut également des raffinements architecturaux tels que normalisation de couche et des connexions réseau résiduel, qui stabilisent l'entraînement à grande échelle. La variante affinée par instructions a été davantage perfectionnée en utilisant un affinage supervisé et apprentissage par renforcement avec retour d'IA, alignant les sorties sur les préférences humaines pour le dialogue et l'achèvement de tâches.
Entraînement et calcul
L'entraînement de DBRX a pris environ 2,5 mois en utilisant 3 072 GPU Nvidia H100 connectés par InfiniBand avec une bande passante de 3,2 téraoctets par seconde. Le coût total d'entraînement a été rapporté à 10 millions de dollars américains, un chiffre qui souligne le calcul substantiel requis pour les LLM de pointe. L'ensemble de données d'entraînement comprenait un corpus diversifié de texte et de code, bien que Databricks n'ait pas divulgué tous les détails de la composition des données.
Le processus d'entraînement a exploité des techniques de écrêtage de gradient et de planification du taux d'apprentissage pour assurer la stabilité sur des milliers d'étapes. La configuration matérielle, utilisant des Nvidia H100, reflète le rôle dominant des accélérateurs de classe NVIDIA dans le apprentissage profond à grande échelle durant cette période, bien que des concurrents comme AMD et AWS Trainium émergeaient également. L'interconnexion InfiniBand a permis une communication efficace entre les experts, un facteur critique pour l'entraînement MoE.
Publication et licence
DBRX a été publié sous la licence Databricks Open Model License, une licence permissive qui permet l'utilisation, la modification et la distribution, bien qu'elle inclue des restrictions sur l'utilisation du modèle pour concurrencer les services commerciaux de Databricks. La publication comprenait les poids du modèle, le code d'inférence et les scripts d'évaluation, le rendant accessible aux chercheurs et aux entreprises.
La publication ouverte contrastait avec les modèles propriétaires de sociétés comme OpenAI et Anthropic, qui offrent un accès limité via des API. Databricks a positionné DBRX comme un outil pour les entreprises cherchant à contrôler leur infrastructure d'IA, en s'alignant sur sa plateforme plus large pour l'ingénierie des données et le apprentissage automatique sur Amazon Web Services, Microsoft Azure et Google Cloud.
Références de performance
À sa publication, DBRX a surpassé plusieurs modèles ouverts notables, notamment Llama 2 de Meta, Mixtral de Mistral AI et Grok-1 de xAI, sur des références de compréhension du langage, de programmation et de mathématiques. Par exemple, DBRX a obtenu des scores plus élevés sur des tâches standard de raisonnement et des tests de génération de code, bien que les chiffres exacts varient selon la référence.
La variante affinée par instructions a montré une force particulière dans le suivi d'instructions complexes et la génération de réponses multi-tours cohérentes, attribuée à son entraînement Reinforcement Learning from AI Feedback (RLAIF). Des évaluations indépendantes par des tiers ont généralement confirmé ces résultats, bien que certains aient noté que l'avantage de DBRX était plus étroit sur des tâches nécessitant une connaissance approfondie du monde ou un support de langues à faibles ressources.
Comparaison avec les modèles contemporains
DBRX est entré dans un paysage concurrentiel dominé par des modèles ouverts et fermés. Comparé à Mixtral, DBRX utilisait plus d'experts (16 contre 8) et un nombre total de paramètres plus élevé, ce qui a contribué à ses scores de référence plus élevés. Face à Llama 2, la conception MoE de DBRX offrait une meilleure efficacité par paramètre actif, bien que Llama 2 ait été entraîné avec une architecture dense plus établie.
Par rapport aux systèmes propriétaires comme GPT-4 d'OpenAI ou Gemini de Google DeepMind, DBRX était généralement considéré comme moins capable sur le raisonnement complexe et les tâches créatives, mais il offrait l'avantage d'un déploiement local et d'une personnalisation. La licence ouverte du modèle permettait un affinage pour des cas d'utilisation spécifiques à un domaine, un argument de vente clé pour les entreprises dans des secteurs réglementés.
Écosystème et adoption
Databricks a intégré DBRX dans sa plateforme, permettant aux clients de déployer le modèle via ses services gérés ou sur leur propre infrastructure. Le modèle a également été rendu disponible sur les places de marché Microsoft Azure et Google Cloud, élargissant sa portée. Plusieurs startups et groupes de recherche ont adopté DBRX pour des applications en génération de code, analyse de documents et support client.
La publication a suscité un intérêt pour les architectures MoE comme alternative rentable aux modèles denses, influençant les travaux ultérieurs d'autres laboratoires. Cependant, l'impact de DBRX a été en partie éclipsé par les avancées rapides dans le domaine, avec des modèles plus récents comme Llama 3 et Qwen 2 atteignant des performances comparables ou supérieures en quelques mois.
Limites et critiques
Malgré ses forces, DBRX présentait des limitations notables. Ses 132 milliards de paramètres au total nécessitaient une mémoire substantielle pour l'inférence, exigeant souvent plusieurs GPU ou une quantification. Le modèle présentait également des biais et des erreurs factuelles courantes chez les LLM, et sa coupure de données d'entraînement limitait la connaissance des événements après début 2024.
Les critiques ont souligné le manque de transparence concernant les données d'entraînement et le coût environnemental de l'entraînement, qui a consommé une énergie significative malgré la période d'entraînement relativement courte. La licence Databricks Open Model License a également été critiquée pour ses termes non standard, que certains ont jugés moins ouverts que les licences open source traditionnelles.
Héritage et orientations futures
DBRX a démontré que les modèles MoE pouvaient atteindre des performances compétitives à une fraction du coût d'entraînement des modèles denses, encourageant davantage de recherche sur les architectures éparses. Databricks a continué à développer des modèles ultérieurs, bien que DBRX soit resté un point de référence pour les LLM à poids ouverts en 2024.
La publication du modèle a contribué au discours plus large sur l'intelligence artificielle concernant les systèmes ouverts contre fermés, les défenseurs citant DBRX comme preuve que des modèles de haute qualité pouvaient être rendus disponibles publiquement. À la fin de 2024, DBRX était encore utilisé dans divers contextes de recherche et de production, bien que des modèles plus récents l'aient largement supplanté dans les classements de référence.
Voir aussi
Références
- Communiqué de presse de Databricks, 27 mars 2024
- Rapport technique sur l'architecture et l'entraînement de DBRX
- Évaluations de référence indépendantes provenant de sources académiques et industrielles