DBRX 是由 Mosaic 在其母公司 Databricks 下开发的一种大型语言模型，于 2024 年 3 月 27 日根据 Databricks 开放模型许可证发布。它是一种混合专家Transformer (architecture)模型，总参数为 1320 亿，其中每个令牌激活 360 亿参数，从 16 个专家中调用 4 个。发布的模型有两个版本：基础基础模型和指令调优变体。
在发布时，DBRX 在多个涵盖语言理解、编程能力和数学的基准测试中，超越了 Meta 的 Llama 2、Mistral AI 的 Mixtral 和 xAI 的 Grok-1 等知名模型。其架构和训练方法使其在快速发展的Generative AI领域中成为具有竞争力的开放权重替代方案。
架构与设计
DBRX 采用混合专家（MoE）架构，这种设计将模型的参数划分为多个专门的“专家”网络。对于每个输入令牌，门控机制选择一部分专家进行处理，使模型能够扩展总参数数量，同时保持每个令牌的计算成本可控。在 DBRX 中，有 16 个专家可用，但每个令牌仅激活 4 个，导致总参数 1320 亿中只有 360 亿活跃参数。这种稀疏激活使得推理和训练比类似规模的密集模型更高效。
该模型基于Transformer (architecture)架构，使用Multi-Head Attention机制处理序列数据。DBRX 融入了现代 LLM 中常见的技术，如Layer Normalization和Positional Encoding，以稳定训练并捕获令牌顺序。混合专家方法是Model Pruning的一种反向形式，，不是移除参数，而是选择性使用其中一部分，从而减少计算开销。
训练与开发
DBRX 使用 3072 块 Nvidia H100 GPU，通过 InfiniBand 以每秒 3.2 TB 的带宽连接，训练了 2.5 个月。据报道，训练成本为 1000 万美元，与一些当代模型相比相对较低，这反映了 MoE 设计的效率和训练流程的优化。训练数据包括多样化的文本和代码语料库，但具体细节未完全公开。
开发由 Mosaic 领导，该公司于 2023 年被 Databricks 收购，专注于Machine learning模型的高效训练。Mosaic 在分布式训练和优化方面的专业知识促成了相对较短的训练时间和成本。模型使用Gradient Clipping和Learning Rate Scheduling调整等技术进行训练，以确保稳定性。
性能与基准测试
发布时，DBRX 在多个基准测试中表现出强劲性能。在语言理解任务中，它超越了 Llama 2 和 Mixtral，展示了改进的推理和理解能力。在编程基准测试中，DBRX 在代码生成和调试方面表现出色，优于 Grok-1。数学推理是 DBRX 展示竞争性结果的另一个领域，通常匹配或超过具有更大活跃参数数量的模型。
这些结果突显了混合专家方法的有效性，该方法使 DBRX 能够在不承担密集 1320 亿参数模型全部计算成本的情况下实现高精度。指令调优变体针对对话和任务导向应用进行了优化，进一步提高了人类偏好对齐任务上的性能。
发布与许可
DBRX 根据 Databricks 开放模型许可证发布，该许可证允许广泛使用，包括商业应用，但有一定限制。开放发布使研究人员和开发者能够访问模型权重，促进进一步的实验和微调。这一举措与Artificial intelligence社区中开放权重模型的趋势一致，例如OpenAI和Anthropic等组织的其他发布，尽管这些通常仍为专有。
基础版和指令调优版本的可用性为不同用例提供了灵活性，从研究到生产部署。Databricks 将 DBRX 定位为企业工具，将其与他们的数据平台和云服务集成，包括Amazon Web Services和Microsoft Azure。
影响与遗产
DBRX 为开源 LLM 的竞争格局做出了贡献，证明了高效的 MoE 架构可以媲美更大的专有模型。其相对较低的训练成本和高性能使其成为后续模型开发的参考点。DBRX 的成功鼓励了对 MoE 设计的进一步投资，此后其他主要参与者已采用这些设计。
在Deep learning的更广泛背景下，DBRX 体现了在管理计算预算的同时扩展模型能力的趋势。其发布还强调了专用硬件（如 Nvidia 的 H100 GPU）的作用，以及高带宽互连在训练大型模型中的重要性。截至 2025 年初，DBRX 仍然是开放权重 MoE 模型的显著例子，尽管此后出现了具有改进能力的新模型。