GPT-3（Generative Pretrained Transformer 3）是由OpenAI开发的大型语言模型，于2020年5月在一篇题为“Language Models are Few-Shot Learners”的论文中推出，随后在2020年剩余时间内逐步开放更广泛的API访问。与其前身GPT-2类似，GPT-3基于Transformer (architecture)架构构建，并通过自回归的下一个词元目标进行训练，但规模大幅扩展至1750亿个参数，比GPT-2完整模型大100倍以上，训练数据混合了Common Crawl、书籍和维基百科文本。
少样本学习
GPT-3的核心研究贡献在于证明，一个足够大的语言模型能够在仅提供少量提示示例的情况下，执行包括翻译、问答、算术和简单推理在内的广泛任务，而无需任何基于梯度的Fine-tuning。这一能力由OpenAI研究人员（包括主要作者Tom Brown）描述为Few-shot learning，更广泛地称为In-context learning，表明仅靠规模即可替代任务特定训练，这一发现强化了语言建模中关于Scaling laws的新兴观点，并塑造了该领域后续的研究重点。
商业发布
与最终公开GPT-2权重不同，OpenAI自2020年6月起通过付费API独家提供GPT-3，最初以私有测试版形式推出。这一决定确立了一种商业模式，后来被业界广泛采用，即前沿语言模型作为计量云服务访问，而非下载并在本地运行，这与后来竞争对手发布的Open-weights models模型形成对比。该API迅速吸引了大量初创公司在GPT-3基础上构建产品，包括早期AI写作助手、聊天机器人和代码生成工具，而微软于2020年作为其对OpenAI更广泛投资的一部分，单独获得了GPT-3底层模型权重的独家许可。
影响与局限
GPT-3被主流媒体和技术媒体广泛报道，被视为语言模型正接近全新能力的证据，并直接推动了基于RLHF等技术训练的指令调优变体的开发，这项工作最终促成了2022年11月基于GPT-3.5变体构建的ChatGPT的发布。GPT-3也因其倾向于生成流畅但事实错误的输出而受到大量批评，这是该领域后来称为Hallucination (AI)的早期突出例子，同时它还因再现训练数据中的偏见而受到指责。其继任者GPT-4于2023年3月发布，功能大幅扩展，包括多模态输入。