GPT-NeoX是由研究团体EleutherAI开发的开源大语言模型。该模型于2022年2月发布，是一个拥有200亿参数的自回归变换器模型，使其成为发布时最大的完全开源语言模型之一。该模型旨在通过提供公开可访问的专有系统替代方案来推进人工智能研究，其权重、训练代码和评估细节均免费提供。GPT-NeoX建立在早期的GPT-Neo系列基础上，扩展了架构和训练技术，以提升各种自然语言任务中的性能。
该模型的架构遵循标准的仅解码器变换器设计，结合了多头注意力、位置编码和层归一化。它在整个44层堆栈中使用残差网络连接，隐藏维度为6144，具有32个注意力头。该模型在从网络爬取、书籍和学术论文中获取的多样化文本语料库上进行训练，总计约825GB数据。训练在96块NVIDIA A100 GPU集群上使用Megatron-DeepSpeed框架进行，该框架实现了高效的模型剪枝和多节点并行化。训练过程耗时约两个月，消耗了约1.1百亿亿次浮点运算的计算量。
训练与优化
GPT-NeoX采用了多种先进的机器学习技术来稳定大规模训练。该模型使用梯度裁剪防止梯度爆炸，并采用带有预热阶段和余弦衰减的学习率调度。权重初始化使用具有缩放方差的正态分布，遵循早期变换器模型的做法。训练目标为标准因果语言建模，即根据前文预测下一个词元。为提高效率，团队实现了序列到序列批处理，并使用Adam优化器和SGD变体进行参数更新。该模型还结合了丢弃法进行正则化，但比率低于较小模型以保留容量。
能力与性能
GPT-NeoX在LAMBADA、HellaSwag和SuperGLUE等基准测试中表现出色，通常能与或超越类似规模但非完全开源的模型。它在需要长距离依赖的深度学习任务中表现优异，例如故事生成和开放式问答。该模型支持Top-K采样、Top-P采样和温度缩放以控制文本生成，允许用户调整创造性和确定性。其200亿参数规模实现了细致的神经网络表示，但推理时需要大量计算资源，通常需要多块高端GPU。该模型提供多种尺寸，包括1.3B和2.7B变体，但20B版本是旗舰型号。
影响与生态系统
GPT-NeoX对开源生成式人工智能社区产生了重大影响。它作为后续模型的基础，包括GPT-J和GPT-NeoX-20B衍生模型，并激励其他组织发布大规模开源模型。训练代码和基础设施被广泛复用，促进了EleutherAI评估工具包等工具的开发。该模型的发布也引发了关于训练大型模型的环境成本以及AI研究透明性重要性的讨论。它常与OpenAI和Anthropic的专有模型进行比较，尽管其规模仍小于它们最大的产品。
局限性与伦理考量
与许多大型语言模型一样，GPT-NeoX可能生成带有偏见或有害的内容，反映了训练数据中存在的偏见。它没有内置安全过滤器，建议用户应用额外的审核措施。该模型的规模使其不适合在消费级硬件上部署，限制了只有资金充足的机构才能访问。EleutherAI强调该模型是研究产物而非生产系统，并鼓励负责任的使用。训练数据包含受版权保护的材料，引发了关于合理使用的法律问题，尽管该模型在Apache 2.0许可证下发布，允许广泛的下游使用。
可用性与使用
GPT-NeoX可从Hugging Face和EleutherAI GitHub仓库下载。该模型可使用Transformers库或原始Megatron-DeepSpeed代码库运行。对于开发者，它在性能和可访问性之间提供了平衡，社区创建的量化版本降低了内存需求。该模型已用于可解释性、课程学习和基于人类反馈的强化学习的学术研究，并作为评估新架构的基线。其开放性允许在专业领域进行微调，使其成为机器学习从业者的多功能工具。