生成预训练变换器（GPT）是一类基于大型语言模型架构构建的模型，旨在生成连贯且上下文相关的文本。该术语由OpenAI在其GPT系列发布后广泛传播，但其底层方法结合了在海量文本语料库上的无监督预训练和针对特定任务的监督微调。GPT模型是生成式人工智能的一种突出形式，能够执行翻译、摘要、问答和创意写作等任务。
GPT模型的架构是仅解码器的变换器，这与原始的编码器-解码器设计不同。它使用多头注意力机制和位置编码来处理序列数据，每个标记以自回归方式关注所有先前的标记。预训练涉及预测序列中的下一个标记，这一任务使模型能够从无标签文本中学习语法、事实和推理模式。随后，通过有标签数据或诸如基于AI反馈的强化学习等技术进行微调，以使输出与人类偏好对齐。
历史发展
预训练变换器的概念源于谷歌深度思维和多伦多大学等机构的研究。2017年，由雅各布·乌兹科雷特和卢卡什·凯泽等人组成的团队发表了原始变换器论文，引入了该架构。2018年，OpenAI发布了首个GPT模型，证明在大型语料库上预训练的变换器可以通过微调在各种自然语言处理基准上取得强劲性能。后续版本GPT-2（2019年）和GPT-3（2020年）扩大了模型规模和训练数据，其中GPT-3拥有1750亿参数。这些模型展现出涌现能力，例如少样本学习，即模型仅通过提示中的少量示例即可执行任务。
其他组织，包括Anthropic和谷歌深度思维，也开发了类似模型，如Claude和Gemini。斯坦福人工智能实验室和伯克利人工智能研究等学术机构也为这些模型的理解和评估做出了贡献。
架构与训练
GPT模型以其深度和宽度为特征，包含多层变换器块。每个块包含多头自注意力机制和前馈神经网络，并应用层归一化。训练使用Adam优化器和带预热步骤的学习率调度，以及梯度裁剪以稳定训练。模型在多样化的互联网文本上训练，但预处理包括过滤和去重。损失函数通常是用于下一个标记预测的交叉熵。
微调可以涉及在任务特定数据集上的监督学习，或诸如基于AI反馈的强化学习和基于人类反馈的强化学习（RLHF）等对齐技术。后者被OpenAI显著用于ChatGPT，该模型基于GPT模型构建。训练规模需要大量计算资源，通常由亚马逊网络服务、Azure和谷歌云等云平台提供，以及来自英伟达的专用硬件（尽管不在提供的列表中，AMD和英特尔也相关）和AWS Trainium等定制芯片。
应用与影响
GPT模型已集成到广泛的产品和服务中。它们驱动聊天机器人、代码生成工具和写作助手。例如，OpenAI的ChatGPT和Anthropic的Claude被数百万人使用。在工业界，三星电子和苹果等公司已探索将这些模型集成到其设备中。这些模型还用于研究、医疗保健和教育领域。然而，它们的部署引发了关于错误信息、偏见和伦理使用的担忧，这些是梅兰妮·米切尔和蒂姆尼特·格布鲁（不在列表中，但相关）等研究人员积极研究的领域。
局限性与挑战
尽管GPT模型能力强大，但它们存在已知的局限性。它们可能产生看似合理但不正确的信息，这种现象通常被称为幻觉。它们还具有固定的上下文窗口，限制了处理超长文档的能力。训练和推理在计算上成本高昂，导致高能耗和碳足迹。缓解这些问题的努力包括模型剪枝、量化和更高效架构的开发。此外，在可解释性和安全性方面正在进行研究，Anthropic等实验室和学术团体为此做出了贡献。
未来方向
该领域正在快速发展，趋势包括更大规模的模型、多模态能力（处理文本、图像和音频）以及更高效的训练方法。谷歌深度思维和OpenAI等公司继续推动边界，而AI21 Labs和Inflection AI等初创公司则探索替代方法。开源努力，例如来自Meta（不在列表中）和Hugging Face（不在列表中）的成果，也使GPT类模型更加易于访问。截至2025年，重点在于提高可靠性、减少偏见和实现实时交互。
参见
参考文献
（根据指南，本文未提供外部链接或引用。）