GPT-1，全称生成式预训练Transformer 1，是由OpenAI于2018年推出的Large language model。它是首个将生成式预训练应用于Transformer (architecture)架构的模型，标志着现代Generative AI系统发展的奠基性一步。GPT-1证明了，在大规模未标注文本语料上预训练的模型，可以通过微调在广泛自然语言任务上实现高精度，从而减少了对大量标注数据的需求。
背景
在2010年代，Machine learning的进步、更强大的计算机以及数字化内容的增长推动了Artificial intelligence的繁荣。生成式预训练（GP）的概念在机器学习中早已确立，作为一种自监督学习形式。在GP中，模型首先在大规模未标注数据集上进行训练，以学习生成数据点，然后使用较小的标注数据集针对特定任务进行适配。由Google研究人员在2017年论文《Attention Is All You Need》中引入的transformer架构，解决了旧有循环神经网络（RNN）在自然语言处理（NLP）中的许多性能问题。其注意力机制使模型能够一次性处理整个序列，从而支持训练更大、更复杂的模型。
开发与发布
2018年6月11日，OpenAI研究人员发表了论文《Improving Language Understanding by Generative Pre-Training》，介绍了GPT-1。该模型基于transformer的解码器堆栈，并在BookCorpus（一个包含超过7,000本未出版书籍的多样化语料库）上进行预训练，以预测序列中的下一个词元。预训练后，模型在标注数据上进行微调，以执行诸如问答、文本蕴含和情感分类等特定任务。这种半监督方法是一项突破，因为此前性能最佳的NLP模型严重依赖从大量人工标注数据中进行的监督学习，而这对于大型模型而言成本高昂且耗时。
GPT-1拥有1.17亿参数，在当时规模显著，并在多个基准测试中表现出色，包括GLUE（通用语言理解评估）套件，其性能超越了众多针对特定任务的监督模型。它的成功验证了生成式预训练方法的有效性，推动了更大规模后继模型（如GPT-2和GPT-3）的发展。
影响与遗产
GPT-1的发布为大型语言模型的快速发展奠定了基础。2019年2月14日，OpenAI推出了GPT-2，这是GPT-1的直接扩展，拥有15亿参数，并在WebText（一个包含800万网页、40GB数据的数据集）上进行训练。GPT-2能够生成连贯且上下文相关的文本，但OpenAI最初因担心恶意使用而分阶段发布。2020年5月28日，GPT-3问世，拥有1,750亿参数，显著推进了少样本和零样本学习。这些模型以及后续的GPT-4，为2022年11月30日推出的ChatGPT等应用提供了动力，后者成为全球现象。
GPT-1还影响了更广泛的人工智能生态系统。其架构和训练范式被其他组织采纳并改编，包括Google DeepMind、Anthropic和Meta AI（尽管未在列表中明确提及，但这一概念隐含其中）。该模型的成功推动了更高效transformer架构的研究，例如稀疏注意力机制和内存高效设计，以处理更长的序列和更大的规模。
技术创新
GPT-1引入了多项关键技术革新。它使用带有掩码自注意力的transformer解码器来预测下一个词元，使模型能够从未标注文本中学习上下文表示。预训练目标是一个标准的语言建模任务，但微调阶段使用任务特定的输入转换，使模型无需改变架构即可适配各种下游任务。这种方法使GPT-1在众多NLP基准测试中取得了最先进的结果，且仅需极少的任务特定工程。
另一项创新是使用多样化的语料库（如BookCorpus），该语料库提供了连贯的长文本，帮助模型学习长距离依赖关系。模型在有限标注数据下跨任务泛化的能力，与以往方法相比是显著进步，为未来模型树立了先例。
更广泛的背景
GPT-1通常被认为是GPT家族中首个现代Large language model，但其影响超越了OpenAI本身。它展示了生成式预训练的潜力，而这一技术已成为Deep learning和Natural language processing中的标准方法。该模型的成功还凸显了规模的重要性（无论是模型规模还是数据规模），推动了可适应广泛任务的基础模型的发展。如今，基于GPT的系统被用于聊天机器人、内容生成、代码辅助以及众多其他应用，并持续通过多模态能力和推理增强进行演进。