GPT-1，全称为生成式预训练Transformer 1，是由OpenAI于2018年推出的Large language model。它是首个将生成式预训练应用于Transformer (architecture)架构的模型，标志着现代Generative AI系统发展的基础性一步。GPT-1证明了在大规模未标注文本上预训练的模型，可以通过微调在多种自然语言任务中实现高精度，从而减少了对大量标注数据的依赖。
背景
在2010年代，Machine learning的进步、更强大的计算能力以及数字化内容的增长推动了Artificial intelligence的繁荣。生成式预训练（GP）作为一种自监督学习方法，已在机器学习领域确立。其核心思想是：先在大型未标注数据集上训练模型以学习数据分布，再针对特定任务使用较小规模的标注数据集进行微调。2017年，Google研究人员在论文《Attention Is All You Need》中提出的Transformer (architecture)架构，解决了早期递归神经网络（RNN）在Natural language processing（NLP）中的性能瓶颈。其注意力机制使模型能够同时处理整个序列，从而支持训练更大、更复杂的模型。
开发与发布
2018年6月11日，OpenAI研究人员发表了论文《Improving Language Understanding by Generative Pre-Training》，正式推出GPT-1。该模型基于transformer的解码器部分，并在BookCorpus（一个包含超过7000本未出版书籍的多样化语料库）上进行预训练，任务是预测序列中的下一个词元。预训练完成后，模型在特定任务（如问答、文本蕴含和情感分类）的标注数据上进行微调。这种半监督方法成为突破，因为此前最优秀的NLP模型严重依赖大量人工标注数据，成本高昂且耗时。
GPT-1拥有1.17亿参数，在当时规模显著。它在多个基准测试中表现出色，包括GLUE（通用语言理解评估）套件，并在多项任务上超越了任务特定的监督模型。其成功验证了生成式预训练方法的有效性，为后续更大规模的模型（如GPT-2和GPT-3）铺平了道路。
影响与遗产
GPT-1的发布为大型语言模型的快速发展奠定了基础。2019年2月14日，OpenAI推出了GPT-2，这是一个直接扩展的模型，拥有15亿参数，并在WebText（一个包含800万网页的40GB数据集）上训练。GPT-2能够生成连贯且上下文相关的文本，但OpenAI最初因担心恶意使用而分阶段发布。2020年5月28日，GPT-3问世，拥有1750亿参数，显著推动了少样本和零样本学习能力。这些模型以及后续的GPT-4，支撑了ChatGPT等应用，后者于2022年11月30日发布，迅速成为全球现象。
GPT-1还影响了更广泛的AI生态系统。其架构和训练范式被其他组织采纳和改编，包括Google DeepMind、Anthropic和Meta AI。该模型的成功激发了对更高效transformer架构的研究，如稀疏注意力机制和内存高效设计，以处理更长的序列和更大的规模。
技术革新
GPT-1引入了多项关键技术革新。它使用带有掩码自注意力机制的transformer解码器来预测下一个词元，使模型能够从未标注文本中学习上下文表示。预训练目标是标准的语言建模任务，但微调阶段通过任务特定的输入变换，使模型适应各种下游任务，而无需修改架构。这种方法使GPT-1在众多NLP基准上以最小的任务特定工程实现了最先进的性能。
另一项创新是使用多样化的语料库（如BookCorpus），提供长篇幅的连贯文本，帮助模型学习长距离依赖关系。模型在有限标注数据上的泛化能力，与以往方法形成鲜明对比，为未来模型树立了先例。
更广泛的背景
GPT-1通常被视为GPT系列中的首个Large language model，但其影响超越了OpenAI本身。它展示了生成式预训练的潜力，这一技术现已成为Deep learning和Natural language processing中的标准方法。该模型的成功还凸显了规模（模型参数和数据量）的重要性，推动了基础模型的发展，这些模型可适应广泛任务。如今，基于GPT的系统广泛应用于聊天机器人、内容生成、代码辅助等领域，并持续演进，具备多模态能力和更强的推理能力。