GPT-1，即生成式预训练变换器1（Generative Pre-trained Transformer 1）的简称，是由OpenAI于2018年推出的一种大型语言模型。它是首个将生成式预训练应用于变换器架构的模型，标志着现代生成式人工智能系统发展的奠基性一步。GPT-1证明了，在大型未标注文本语料库上预训练的模型，可以通过微调来高精度地执行各种自然语言任务，从而减少了对大量标注数据的需求。
背景
在2010年代，机器学习的进步、更强大的计算机以及数字化内容的增长，推动了人工智能的繁荣。生成式预训练（GP）概念在机器学习中已作为一种自监督学习形式确立。在GP中，模型首先在大型未标注数据集上训练以学习生成数据点，然后使用较小的标注数据集针对特定任务进行适配。变换器架构由谷歌研究人员在2017年的论文《Attention Is All You Need》中提出，解决了旧循环神经网络（RNN）在自然语言处理（NLP）中的许多性能问题。其注意力机制使模型能够一次性处理整个序列，从而能够训练更大、更复杂的模型。
开发与发布
2018年6月11日，OpenAI研究人员发表了论文《Improving Language Understanding by Generative Pre-Training》，介绍了GPT-1。该模型基于变换器的解码器堆栈，并在BookCorpus（一个包含超过7,000本未出版书籍的多样化语料库）上进行了预训练，以预测序列中的下一个词元。预训练后，模型在标注数据上针对特定任务（如问答、文本蕴含和情感分类）进行微调。这种半监督方法是一个突破，因为此前表现最佳的NLP模型严重依赖于大量人工标注数据的监督学习，这对于大型模型来说成本高昂且耗时。
GPT-1拥有1.17亿个参数，在当时规模显著，并在多个基准测试中表现出色，包括GLUE（通用语言理解评估）套件，其性能优于许多特定任务的监督模型。它的成功确立了生成式预训练方法的有效性，促成了GPT-2和GPT-3等更大规模后继模型的开发。
影响与遗产
GPT-1的发布为大型语言模型的快速演变奠定了基础。2019年2月14日，OpenAI推出了GPT-2，这是直接扩展的版本，拥有15亿个参数，并在WebText（一个包含800万个网页、40GB的数据集）上训练。GPT-2能够生成连贯且上下文相关的文本，但OpenAI最初因担心恶意使用而分阶段发布。2020年5月28日，GPT-3推出，拥有1750亿个参数，显著推进了少样本和零样本学习。这些模型以及后续的GPT-4等，为ChatGPT等应用提供了动力，ChatGPT于2022年11月30日推出，成为全球现象。
GPT-1也影响了更广泛的人工智能生态系统。其架构和训练范式被其他组织采用和改编，包括Google DeepMind、Anthropic和Meta AI（尽管不在提供的列表中，但概念隐含其中）。该模型的成功激发了对更高效变换器架构的研究，如稀疏注意力机制和内存高效设计，以处理更长的序列和更大的规模。
技术革新
GPT-1引入了多项关键技术革新。它使用带有掩蔽自注意力的变换器解码器来预测下一个词元，使模型能够从未标注文本中学习上下文表示。预训练目标是标准的语言建模任务，但微调阶段使用任务特定的输入转换，使模型能够适应各种下游任务而无需改变其架构。这种方法使GPT-1在许多NLP基准测试中取得了最先进的结果，且任务特定工程最少。
另一项创新是使用像BookCorpus这样的多样化语料库，它提供了长段连贯文本，帮助模型学习长距离依赖。模型在有限标注数据下跨任务泛化的能力，与以往方法有显著不同，为未来模型树立了先例。
更广泛的背景
GPT-1通常被认为是GPT家族中第一个现代大型语言模型，但其影响超越了OpenAI。它展示了生成式预训练的潜力，这已成为深度学习和自然语言处理中的标准技术。该模型的成功也强调了扩展的重要性，无论是在模型规模还是数据方面，导致了基础模型的发展，这些模型可以适应广泛的任务。如今，基于GPT的系统用于聊天机器人、内容生成、代码辅助和许多其他应用，并随着多模态能力和推理增强而持续演变。