Arctic 是 Snowflake（一家云数据平台公司）开发的开源大型语言模型。该模型于 2024 年 4 月发布，专为企业工作负载设计，优先考虑效率和成本效益，而非原始规模。它采用混合专家（MoE）架构，在 SQL 生成、代码补全和指令遵循等任务上表现出色，同时相比同类模型，其训练和部署所需的计算资源显著更少。
该模型的开发反映了生成式人工智能领域向开放权重模型发展的更广泛趋势，这类模型使组织能够在其自有基础设施上进行定制和运行。Arctic 的发布附带了一份详细的技术报告和开源代码，使研究人员和企业能够检查、微调和部署该模型，而无需依赖专有 API。这使得 Arctic 成为 Llama 和 Mistral 等其他开放模型的直接竞争对手，但特别关注以数据为中心的企业应用。
架构与训练
Arctic 采用稀疏混合专家（MoE）架构，该架构对每个 token 仅激活其参数的一个子集。该模型总共有 4800 亿个参数，但在推理过程中仅激活 170 亿个。这种设计降低了计算成本，同时保持了高容量。该架构由一个包含 100 亿参数的密集 Transformer 主干组成，并辅以 128 个专家模块，每个模块包含 36.6 亿个参数。这种配置使 Arctic 在许多基准测试中能达到与Llama 2 70B 等密集模型相当的性能，同时运行成本大幅降低。
训练采用了两阶段方法。第一阶段侧重于通用网络文本和代码，使用 4,096 个 token 的上下文长度。第二阶段将上下文扩展到 8,192 个 token，并加入了更多专门数据，包括 SQL 查询和企业文档。训练语料库包括 RedPajama、SlimPajama 和 StarCoder 等公开数据集，以及来自 Snowflake 平台的专有数据。总训练计算量约为 3.5 万亿个 token，这一数字与GPT-4等前沿模型相比相对适中，但足以满足其目标任务的需求。
企业重点与基准测试
Arctic 与多个领先的开放和封闭模型进行了基准测试，包括Llama 2 70B、Mixtral 8x7B 和 DBRX。在代码生成的 HumanEval 基准测试中，Arctic 的 pass@1 得分为 60.6%，优于 Llama 2 70B（29.9%）和 Mixtral（40.2%）。在使用 Spider 基准测试的 SQL 生成任务中，Arctic 得分为 82.3%，超过了 Mixtral 的 76.6%，并接近更大规模专有模型的性能。该模型在 MT-Bench 等指令遵循基准测试中也表现出色，得分为 7.9 分（满分 10 分），与 GPT-3.5 相当。
这些结果凸显了 Arctic 的设计目标：在企业环境中常见的结构化数据任务上表现出色，例如生成数据库查询、总结财务文档和自动化代码审查。Snowflake 将 Arctic 定位为其现有数据云服务的补充，使用户能够直接在其数据上构建自定义 AI 应用。
开源与生态系统
Arctic 在 Apache 2.0 许可证下发布，该许可证允许商业使用、修改和再分发，且限制极少。这与一些其他开放模型形成对比，后者可能施加使用限制或要求署名。模型权重可在Hugging Face上获取，训练和推理代码托管在 GitHub 上。Snowflake 还提供了与 vLLM 和 NVIDIA TensorRT-LLM 等流行框架的集成，以优化部署。
开源性质促进了社区贡献，包括针对法律和医学文本等特定领域的微调变体。Snowflake 还推出了一个专门的开发者门户，提供文档和示例用例。截至 2024 年底，Arctic 在 Hugging Face 上的下载量已超过 50 万次，表明企业和研究人员对其采用程度较高。
反响与影响
行业分析师注意到 Arctic 的务实方法，专注于成本高效的推理，而非追求最先进的基准测试成绩。其发布加剧了关于大规模模型训练可持续性的持续争论，因为 Arctic 证明了在仅使用某些前沿模型 1/100 训练计算量的情况下，也能在企业任务上实现有竞争力的性能。批评者指出，Arctic 在通用知识和推理任务上的表现落后于GPT-4和 Claude 3 等模型，但承认其在特定领域应用中的优势。
Arctic 也影响了 Snowflake 的产品路线图，该公司将该模型集成到其 Cortex AI 平台中，用于自然语言查询和文档摘要等功能。这种集成使 Snowflake 客户无需管理自己的基础设施即可使用 Arctic，进一步扩大了其覆盖范围。
未来方向
Snowflake 已表示计划发布 Arctic 的更新版本，这些版本将具有更长的上下文窗口和改进的多语言支持。该公司还在探索多模态能力，但尚未公布具体时间表。截至 2025 年，Arctic 仍然是开源模型如何针对特定行业进行定制的一个显著例子，其开发已为后续关于高效 MoE 设计的研究提供了参考。
参见
- 混合专家
- SQL 生成
- Apache 2.0 许可证
- Hugging Face
参考文献
- Snowflake AI Research. “Arctic: A Dense-MoE Hybrid Transformer for Enterprise AI.” 技术报告，2024 年。
- Hugging Face 上 Snowflake/snowflake-arctic-instruct 的模型卡片。
- 来自 HumanEval、Spider 和 MT-Bench 的基准测试结果，如 Arctic 技术报告所述。