GPT-NeoX 是由研究团体 EleutherAI 开发的一个拥有 200 亿参数的大型语言模型。它于 2022 年 2 月发布，是一个开源的自回归Transformer (architecture)模型，旨在推进深度学习和生成式 AI 的研究。该模型的创建目的是为专有系统提供一种可公开访问的替代方案，使研究人员能够在没有商业限制的情况下研究大规模神经网络。
GPT-NeoX 建立在早期 GPT 模型的架构原理之上，使用仅解码器的 transformer，并采用多头注意力和残差连接。其训练涉及包含网页文本、书籍和其他来源的多样化语料库，强调广泛覆盖以提高泛化能力。该模型的 200 亿参数使其在大型语言模型中处于中等规模类别，在计算成本与性能之间取得了平衡。
架构与设计
该模型采用标准的 transformer 架构，并进行了若干增强以提高稳定性和效率。它在每个子层之前应用层归一化，这种做法改善了训练收敛性。位置编码是学习得到的，使模型能够捕获标记顺序。注意力机制通过多头注意力实现，将 200 亿参数分布在 64 层中，每层有 16 个注意力头。
GPT-NeoX 采用了梯度裁剪以防止训练过程中出现梯度爆炸，并使用Adam 作为其优化器，配合包含预热和余弦衰减的学习率调度。模型的隐藏大小为 6144，其前馈层扩展到 24,576 维。这些选择反映了模型容量与内存占用之间的平衡，使其能够在亚马逊云服务集群上进行训练。
训练数据与过程
EleutherAI 在名为 The Pile 的精选数据集上训练了 GPT-NeoX，这是一个从 22 个不同来源汇编而成的大规模英语语料库。其中包括学术论文、书籍、网页和代码仓库，总计约 800 GB 的文本。训练过程使用 512 个序列的批大小，每个序列包含 2048 个标记，并运行了大约 400,000 步。总计算量估计为 1.2 exaflops，在由 96 个 NVIDIA A100 GPU 组成的集群上执行。
训练采用了数据增强技术，如随机掩码和标记丢弃，以提高鲁棒性。为了处理大型模型规模，EleutherAI 在 GPU 之间使用了模型并行，拆分层和注意力头以适应内存限制。最终检查点以开放许可证发布，允许用于研究和商业应用的不受限制使用。
性能与评估
GPT-NeoX 在一系列基准测试上进行了评估，包括语言建模困惑度、问答和常识推理任务。在 LAMBADA 数据集上，它达到了 3.99 的困惑度，展示了强大的下一个词预测能力。在零样本设置中，它的表现与类似规模的模型相当，但落后于来自OpenAI 和Google DeepMind 等更大的专有模型。
该模型在代码生成任务中表现出特别强的能力，这归因于其训练数据中包含 GitHub 代码。在 HumanEval 基准测试中，它达到了 6.4% 的 pass@1 分数，表明其在生成功能性代码方面具有中等能力。它在机器学习基准测试中的表现凸显了开源模型在实现可复现研究方面的价值，因为结果可以由社区独立验证。
影响与遗产
GPT-NeoX 为后续的开源工作奠定了模型基础，影响了 LLaMA 和 Falcon 等后续模型的发展。它的发布表明，非商业组织也可以训练出高质量的大型语言模型，挑战了科技巨头的主导地位。该模型的开源权重促进了人工智能安全、可解释性和微调方面的研究，许多研究将其用作基线。
该项目还为更广泛的开放 AI 工具生态系统做出了贡献，包括开发了 EleutherAI 评估框架，该框架标准化了开放模型的基准测试。GPT-NeoX 的架构和训练方案被详细记录，为其他人提供了复制和扩展的蓝图。其遗产在持续推动透明和可访问的 AI 研究中得以延续，这从 EleutherAI 和其他团体的后续发布中可见一斑。
局限性与考量
尽管 GPT-NeoX 具有强大的能力，但它也有明显的局限性。其 200 亿参数小于许多当代模型，导致在复杂推理任务上表现较低。该模型可能产生有偏见或有害的输出，反映了其训练数据中的偏见。它还缺乏商业系统中使用的微调和对齐技术，使其在没有额外保障措施的情况下不太适合直接部署在面向用户的应用中。
使用 GPT-NeoX 的研究人员必须考虑其计算需求，这些需求在推理和微调方面相当可观。该模型的内存占用超过了典型消费级硬件的容量，需要云基础设施或专用加速器。这些因素决定了它主要用作研究工具而非生产系统，尽管它仍然是研究大规模Transformer (architecture)的宝贵资源。