生成式预训练变换器（GPT）是一类基于Transformer (architecture)架构构建的大语言模型，旨在生成连贯且与上下文相关的文本。该术语由OpenAI在其GPT系列发布后推广开来，但其底层方法结合了在大型文本语料库上的无监督预训练和针对特定任务的监督微调。GPT模型是生成式人工智能的一种重要形式，能够执行翻译、摘要、问答和创意写作等任务。
GPT模型的架构是仅解码器变换器，这与原始的编码器-解码器设计不同。它使用多头注意力机制和位置编码来处理序列数据，每个词元以自回归方式关注所有先前词元。预训练涉及预测序列中的下一个词元，这一任务使模型能够从无标签文本中学习语法、事实和推理模式。随后，通过有标签数据或基于AI反馈的强化学习等技术进行微调，以使输出与人类偏好对齐。
历史发展
预训练变换器的概念源于Google DeepMind和多伦多大学等机构的研究。2017年，由Jakob Uszkoreit和Lukasz Kaiser等人组成的团队发表了原始变换器论文，引入了该架构。2018年，OpenAI发布了首个GPT模型，证明在大型语料库上预训练的变换器可以通过微调在各种自然语言处理基准上取得强劲表现。后续版本GPT-2（2019年）和GPT-3（2020年）扩大了模型规模和训练数据，其中GPT-3拥有1750亿个参数。这些模型展现出涌现能力，如少样本学习，即模型仅凭提示中的几个示例即可完成任务。
包括Anthropic和Google DeepMind在内的其他组织也开发了类似模型，如Claude和Gemini。斯坦福人工智能实验室和伯克利人工智能研究等学术机构也为这些模型的理解和评估做出了贡献。
架构与训练
GPT模型以其深度和宽度为特征，包含多层变换器块。每个块包含多头自注意力机制和前馈神经网络，并应用层归一化。训练使用Adam优化器和带预热步骤的学习率调度，同时采用梯度裁剪以稳定训练。模型在多样化的互联网文本上训练，但预处理包括过滤和去重。损失函数通常采用交叉熵进行下一个词元预测。
微调可以涉及在任务特定数据集上的监督学习，或使用基于AI反馈的强化学习和基于人类反馈的强化学习（RLHF）等对齐技术。后者被OpenAI显著用于构建于GPT模型之上的ChatGPT。训练规模需要大量计算资源，通常由亚马逊云服务、微软Azure和谷歌云等云平台提供，以及英伟达等公司的专用硬件（尽管不在给定列表中，超威和英特尔也相关）和AWS Trainium等定制芯片。
应用与影响
GPT模型已被整合到广泛的产品和服务中。它们为聊天机器人、代码生成工具和写作助手提供支持。例如，OpenAI的ChatGPT和Anthropic的Claude拥有数百万用户。在工业界，三星电子和苹果等公司已探索将此类模型整合到其设备中。这些模型还用于研究、医疗保健和教育领域。然而，它们的部署引发了关于错误信息、偏见和伦理使用的担忧，这些是梅兰妮·米切尔和蒂姆尼特·格布鲁等研究人员（不在列表中，但相关）正在积极研究的领域。
局限性与挑战
尽管能力强大，GPT模型仍有已知的局限性。它们可能生成看似合理但不正确的信息，这种现象通常被称为幻觉。它们还具有固定的上下文窗口，限制了处理超长文档的能力。训练和推理计算成本高昂，导致高能耗和碳足迹。缓解这些问题的努力包括模型剪枝、量化和开发更高效的架构。此外，关于可解释性和安全性的研究正在进行中，Anthropic等实验室和学术团体为此做出了贡献。
未来方向
该领域正在快速发展，趋势包括更大规模的模型、多模态能力（处理文本、图像和音频）以及更高效的训练方法。Google DeepMind和OpenAI等公司不断突破边界，而AI21 Labs和Inflection AI等初创公司则探索替代方法。来自Meta（不在列表中）和Hugging Face（不在列表中）等开源努力也使类GPT模型更加易于获取。截至2025年，重点在于提高可靠性、减少偏见并实现实时交互。
参见
参考文献
（本文未提供外部链接或引文。）