OPT（开放预训练Transformer）是一个仅解码器的大型语言模型家族，由Meta AI开发并于2022年5月发布。该系列模型的参数规模从1.25亿到1750亿不等，其中最大的模型OPT-175B与GPT-3的规模相当。与许多同期模型不同，OPT公开了其权重、训练代码和详细日志，旨在促进大规模语言模型研究的民主化。
OPT的架构遵循标准的Transformer解码器设计，并采用了层归一化和残差连接等改进。这些模型在包含1800亿个token的多样化语料库上进行了训练，语料来源包括Common Crawl、Wikipedia和BooksCorpus。训练过程强调了计算效率和稳定性，使用了动态损失缩放和梯度裁剪等技术。
开发与发布
OPT在一篇题为“OPT：开放预训练Transformer语言模型”的论文中由Susan Zhang及其同事在Meta AI提出。发布内容不仅包括模型权重，还包括训练代码和详细的训练过程日志，这在当时对于如此规模的模型来说是前所未有的。其目标是促进可复现性和协作，推动人工智能研究社区的发展。
这些模型在非商业许可下发布，并通过申请流程提供访问权限。发布时还附带了演示和文档。最大的模型OPT-175B需要大量的计算资源，但同时也提供了较小的变体（如1.25亿、3.5亿、13亿、27亿、67亿、130亿和300亿参数），以满足不同的研究需求。
架构与训练
OPT采用仅解码器的架构，具有因果注意力机制，类似于GPT-3。关键设计选择包括预归一化（在每个子层之前应用层归一化）、使用ReLU激活函数而非GELU，以及学习到的位置嵌入。训练数据经过了过滤和去重处理，模型使用Adam优化器和余弦学习率调度进行训练。
OPT-175B的训练耗时约992个GPU小时，使用的是NVIDIA A100 GPU，由于优化技术，其效率显著高于同类模型。训练日志记录了训练过程中遇到的挑战，如损失尖峰及其缓解策略。
性能与评估
OPT模型在多个自然语言处理基准测试上进行了评估，包括SuperGLUE、SQuAD和OpenBookQA。虽然OPT-175B在许多任务上的表现与GPT-3相当，但在代码生成任务上表现略逊一筹。这些模型还展示了少样本学习能力，随着提供的示例数量增加，性能有所提升。
在零样本和少样本设置下，OPT-175B在问答和常识推理任务上取得了强劲的结果。然而，与其他大型模型一样，它也可能产生有偏见或有害的输出，论文中讨论了这些局限性和伦理考量。
影响与遗产
OPT是开源AI社区的一个重要里程碑，为大规模模型开发的透明度树立了先例。它影响了后续的开源模型，如BLOOM和LLaMA。OPT的可用性使研究人员能够在没有专有模型障碍的情况下研究模型行为、微调和可解释性。
该模型的发布也引发了关于开源强大模型风险的讨论，包括潜在的滥用问题。Meta AI实施了一项负责任的发布策略，包括用例政策和访问控制。尽管存在这些担忧，OPT仍然是学术研究中广泛使用的基线模型，也是开源模型开发的重要参考点。
参见
参考文献
- Zhang, S., et al. (2022). "OPT：开放预训练Transformer语言模型." arXiv:2205.01068.
- Meta AI. (2022). "Introducing OPT."