CPM-2是由北京智源人工智能研究院（BAAI）开发的大规模预训练语言模型。该模型于2021年发布，是CPM-1的继任者，以其1980亿参数而著称，成为当时最大的中文语言模型之一。CPM-2旨在处理广泛的自然语言处理任务，包括文本生成、理解和对话，并专注于中文语言。
与许多仅依赖单一架构的模型不同，CPM-2在Transformer (architecture)框架内采用了混合专家（MoE）方法。这种设计允许模型对每个输入仅激活其参数的一个子集，从而提高计算效率，同时保持高性能。该模型在包含网页、书籍和其他来源的多样化中文语料库上进行训练，并在CLUE（中文语言理解评测）等基准测试中展现出强劲结果。
架构与训练
CPM-2基于Transformer (architecture)架构构建，特别采用仅解码器结构用于生成任务。其1980亿参数被组织成多个专家层，每个令牌被路由到少量专家，从而降低每次推理的有效计算成本。该模型使用中文子词单元词汇表，并结合Positional Encoding和Layer Normalization等技术以稳定训练。
训练过程采用两阶段方法：首先在大规模语料库上进行密集预训练阶段，随后使用MoE结构进行稀疏微调阶段。这种方法使BAAI能够将模型扩展到超出纯密集架构可行范围的大小。训练数据包含超过200GB的中文文本，模型在GPU集群上进行训练，但具体硬件细节未公开披露。
能力与应用
CPM-2在多种Large language model任务中表现出色，包括文本补全、摘要生成、问答和对话生成。在评估中，它在多个中文基准测试（如CLUE排行榜）上取得了最先进的结果，在某些中文特定任务上超越了GPT-3等先前模型。该模型处理长上下文并生成连贯、上下文相关文本的能力，使其适用于内容创作、客户服务和教育工具等应用。
一个显著特点是其双语能力，CPM-2也能处理英文文本，尽管其主要重点是中文。这种多功能性源于其训练语料库中包含英文数据，从而实现跨语言迁移。该模型提供两个版本：完整的198B参数版本和较小的11B参数版本，后者更便于研究和部署。
影响与反响
CPM-2作为开源模型发布，其权重和代码向研究社区开放。这种开放性促进了其在学术和工业领域的采用，尤其是在中国，它成为进一步针对特定领域任务进行微调的基础。该模型的发布也引发了关于训练大型模型的环境和计算成本的讨论，以及对高效推理方法的需求。
与同期模型如OpenAI的GPT-3相比，CPM-2证明了通过专注于特定语言和更高效的MoE架构，可以实现具有竞争力的性能。其成功鼓励了对稀疏模型的进一步研究，并促进了CPM系列后续模型（如CPM-3）的开发。
局限性与伦理考量
与其他大型语言模型一样，CPM-2存在局限性，包括训练数据中潜在的偏见，可能导致有偏见的输出。它也可能产生不正确或无意义的响应，尤其是在小众主题上。该模型的大规模对部署构成挑战，推理需要大量计算资源，这限制了其在资源受限环境中的使用。
BAAI已承认这些问题，并建议在敏感应用中部署模型前进行仔细评估。该组织还强调负责任的使用，鼓励研究人员考虑生成内容的伦理影响。截至2024年，CPM-2仍是中文AI发展中的参考点，尽管它已被参数数量更大、能力更先进的新模型所超越。
遗产与未来方向
CPM-2的发布标志着Artificial intelligence领域的一个里程碑，特别是对于非英语语言模型。它证明了大规模预训练可以有效地应用于英语以外的语言，为其他语言的类似努力铺平了道路。CPM-2中使用的MoE架构影响了后续模型设计，包括来自Alibaba DAMO Academy和其他中国AI研究机构的模型。
CPM系列的后续迭代在CPM-2的基础上构建，融入了诸如基于人类反馈的强化学习（Reinforcement Learning from AI Feedback (RLAIF)）和更高效训练方法等新技术。CPM-2的遗产在于其展示了西方科技生态系统之外的可扩展、开源AI开发，为全球AI格局的多样性做出了贡献。