DBRX é um modelo de linguagem de grande escala desenvolvido pela Mosaic sob sua empresa controladora Databricks, lançado em 27 de março de 2024, sob a Licença de Modelo Aberto Databricks. É um modelo Transformer (architecture) de mistura de expertos com 132 bilhões de parâmetros no total, dos quais 36 bilhões estão ativos para cada token, utilizando 4 de 16 expertos. O modelo lançado vem em duas versões: um modelo base de fundação e uma variante ajustada por instruções.
No momento de seu lançamento, DBRX superou modelos proeminentes como Llama 2 da Meta, Mixtral da Mistral AI e Grok-1 da xAI em vários benchmarks que cobren compreensão de linguagem, capacidade de programação e matemática. Sua arquitetura e abordagem de treinamento o posicionaram como uma alternativa competitiva de pesos abertos no panorama em rápida evolução de Generative AI.
Arquitectura e Design
DBRX emprega uma arquitetura de mistura de expertos (MoE), um design que divide os parâmetros do modelo em múltiples redes "expertas" especializadas. Para cada token de entrada, um mecanismo de portão selecciona um subconjunto de expertos para processar, permitendo que o modelo escale o número total de parâmetros enquanto mantiene o custo computacional por token manejable. Em DBRX, 16 expertos estão disponíveis, mas apenas 4 são ativados por token, resultando em 36 bilhões de parâmetros ativos de 132 bilhões totais. Esta activação esparsa permite inferência e treinamento eficientes em comparação com modelos densos de tamanho similar.
O modelo é construído sobre a arquitetura Transformer (architecture), que usa mecanismos de Multi-Head Attention para processar dados sequenciais. DBRX incorpora técnicas comuns em LLMs modernos, como Layer Normalization e Positional Encoding, para estabilizar o treinamento e capturar a ordem dos tokens. A abordagem de mistura de expertos é uma forma de Model Pruning ao revés - em vez de remover parâmetros, usa seletivamente uma fração deles, reduzindo a sobrecarga computacional.
Treinamento e Desenvolvimento
DBRX foi treinado durante um período de 2,5 meses usando 3.072 GPUs Nvidia H100 conectadas por uma largura de banda de 3,2 terabytes por segundo via InfiniBand. O custo reportado de treinamento foi de US$10 milhões, uma cifra relativamente modesta em comparação com alguns modelos contemporáneos, refletindo a eficiencia do design MoE e a optimização do pipeline de treinamento. Os dados de treinamento consistieron em um corpus diverso de texto e código, embora detalhes específicos não foram totalmente divulgados.
O desenvolvimento foi liderado pela Mosaic, uma empresa adquirida pela Databricks em 2023, que se especializó em treinamento eficiente de modelos de Machine learning. A experiência da Mosaic em treinamento distribuido e optimización contribuiu ao cronograma e custo relativamente curtos de treinamento. O modelo foi treinado usando técnicas como Gradient Clipping e ajustes de Learning Rate Scheduling para garantir estabilidad.
Desempeño e Benchmarks
No momento de seu lançamento, DBRX demonstrou um desempeño forte em uma gama de benchmarks. Em tarefas de compreensão de linguagem, superó Llama 2 e Mixtral, mostrando raciocinio e compreensão melhorados. Em benchmarks de programação, DBRX se destacó em generación de código e depuração, superando Grok-1. O raciocinio matemático foi outra área onde DBRX mostró resultados competitivos, muitas vezes igualando ou superando modelos com contagens de parâmetros ativos maiores.
Estos resultados destacaron a eficacia da abordagem de mistura de expertos, que permite que DBRX alcance alta precisión sem o custo computacional completo de um modelo denso de 132 bilhões de parâmetros. A variante ajustada por instruções foi optimizada para aplicações conversacionais e orientadas a tarefas, melhorando ainda mais o desempeño em tarefas alineadas com preferências humanas.
Lançamento e Licenciamento
DBRX foi lançado sob a Licencia de Modelo Aberto Databricks, que permite uso amplo, incluindo aplicações comerciales, com certas restricciones. O lançamento aberto permitiu que pesquisadores e desenvolvedores acessassem os pesos do modelo, facilitando experimentación adicional e ajuste fino. Este movimento se alineó com uma tendência na comunidade de Artificial intelligence hacia modelos de pesos abertos, como visto com outros lançamentos de organizações como OpenAI e Anthropic, embora esses muitas vezes permanezcan proprietários.
A disponibilidade de ambas versões, base e ajustada por instruções, proporcionó flexibilidade para diferentes casos de uso, desde pesquisa até implementación em produção. Databricks posicionó DBRX como uma ferramenta para empresas, integrando-o com sua plataforma de dados e serviços de nube, incluindo Amazon Web Services e Microsoft Azure.
Impacto e Legado
DBRX contribuiu ao panorama competitivo de LLMs de código aberto, demonstrando que arquiteturas MoE eficientes podían rivalizar com modelos proprietários maiores. Seu custo de treinamento relativamente baixo e alto desempeño o fizeron um ponto de referencia para o desenvolvimento subsequente de modelos. O éxito de DBRX incentivó maior investimento em designs MoE, que desde então foram adotados por outros grandes atores.
No contexto más amplio de Deep learning, DBRX exemplificó a tendência hacia escalar a capacidade do modelo enquanto se gestionan orçamentos computacionales. Seu lançamento também subrayó o papel de hardware especializado, como as GPUs H100 da Nvidia, e a importância de interconexiones de alta largura de banda no treinamento de modelos grandes. Até o início de 2025, DBRX permanece um exemplo notável de modelos MoE de pesos abertos, embora modelos más novos tenham surgido desde então com capacidades melhoradas.