MPT（MosaicML预训练Transformer）是一个开源大型语言模型系列，由MosaicML公司开发，该公司后来被Databricks收购。这些模型设计为可商业使用，即它们在宽松许可证下发布，允许在商业和研究环境中广泛应用。MPT模型基于Transformer (architecture)架构构建，以其高效的训练方法和长上下文窗口而著称，使其成为OpenAI或Google DeepMind等组织专有模型的实用替代方案。
首个MPT模型MPT-7B于2023年5月发布，随后MPT-30B于2023年6月发布。这些模型使用MosaicML平台训练，该平台利用优化训练技术，如梯度裁剪和层归一化，以较少的计算资源实现高性能。MPT模型在生成式人工智能生态系统中被广泛采用，特别是在文本生成、摘要和代码补全等任务中。
架构与训练
MPT模型使用仅解码器的Transformer架构，与其他现代LLM类似。然而，它们融入了多项创新以提高效率和能力。值得注意的是，MPT模型使用多头注意力，并通过ALiBi（线性偏置注意力）等技术支持更长的序列，这使模型能够外推到比训练时所见更长的上下文。这与传统的位置编码方法有所不同，使MPT-7B在某些配置下能处理多达84,000个标记。
训练在大型公开文本和代码数据集上进行，重点关注数据质量和多样性。MosaicML报告称，MPT-7B在1万亿个标记上训练，而MPT-30B在1.2万亿个标记上训练。训练过程使用Adam优化器，并采用包含预热和余弦衰减的学习率调度。此外，权重初始化经过精心调整，以在大规模训练中保持稳定性。
商业可用性与许可
MPT模型的一个关键区别在于其许可。MPT-7B在Apache 2.0许可证下发布，允许不受限制地使用、修改和分发，包括商业用途。MPT-30B在自定义许可证下发布，该许可证同样允许商业使用，但包含一项限制，即禁止使用该模型改进其他大型语言模型。这一许可策略旨在鼓励采用，同时保护MosaicML的竞争优势。
MPT模型的商业可用性使其对希望避免封闭模型API成本和数据隐私问题的初创企业和企业具有吸引力。公司可以在自己的基础设施上部署MPT模型，使用亚马逊网络服务、Azure或谷歌云等云服务，或使用AWS Trainium或Groq加速器等专用硬件。
性能与基准
MPT模型在标准基准测试中表现出竞争性性能。例如，MPT-7B在MMLU（大规模多任务语言理解）和HellaSwag等任务上取得了强劲成绩，通常在发布时优于其他类似规模的开源模型。MPT-30B进一步提高了这些分数，在某些领域接近更大专有模型的性能。
在代码生成任务中，MPT模型在HumanEval等基准测试中表现良好，这得益于其在代码密集型数据集上的训练。这些模型在指令遵循方面也显示出强大的能力，特别是在使用基于AI反馈的强化学习等技术进行微调或在精选指令数据集上进行监督微调之后。
生态系统与影响
MPT模型成为许多衍生工作的基础。开发者创建了针对特定任务（如聊天、摘要和领域特定应用）的微调变体。这些模型被集成到Hugging Face等平台中，使其易于访问，便于实验和部署。
MPT的发布促进了开源LLM挑战专有模型主导地位的更广泛趋势。它证明了高效训练技术可以在没有科技巨头巨额预算的情况下产生高质量模型。MPT还影响了后续模型的发展，如Llama系列，强调了训练效率和长上下文能力的重要性。
局限性与未来方向
尽管有优势，MPT模型仍存在局限性。它们可能表现出训练数据中存在的偏见，其事实准确性并不总是可靠，这是所有LLM的常见问题。这些模型在推理时也需要大量计算资源，尽管量化和其他优化技术可以缓解这一问题。
在MosaicML于2023年被Databricks收购后，MPT产品线的开发最终被其他模型（如DBRX）所取代，后者融入了从MPT中汲取的经验教训。然而，MPT仍然是开源AI历史上的一个重要里程碑，证明了商业可行的LLM可以公开构建和共享。
参见
参考文献
MosaicML技术报告和博客文章（2023年）。
外部链接
（未提供外部链接。）