2020年6月，OpenAI推出了GPT-3 API，为其第三代大型语言模型提供商业访问权限。这一发布标志着人工智能商业化进程中的关键时刻，因为它是首批面向最先进大型语言模型的广泛可用的付费服务之一。该API允许外部开发者和企业将GPT-3集成到产品中，这有助于在随后几年引发更广泛的生成式人工智能热潮。
GPT-3 API建立在Transformer架构的基础上，该架构由谷歌研究人员于2017年提出。GPT-3本身是一个拥有1750亿参数的深度学习模型，在多样化的互联网文本语料库上进行训练。它无需针对特定任务的训练即可执行文本生成、翻译和问答等任务，这种能力被称为少样本学习。该API通过云端点提供对模型的访问，与本地运行模型相比，提供了更简单的界面。
背景
OpenAI于2015年12月在旧金山成立，最初是一个非营利性人工智能研究组织，联合主席为埃隆·马斯克和萨姆·奥尔特曼。其章程旨在确保通用人工智能惠及全人类。2019年，OpenAI转型为“封顶”营利性结构，创建了OpenAI LP，以吸引投资并提供有竞争力的薪酬。这一结构变化对于资助训练GPT-3等模型所需的巨额计算成本至关重要，因为这些模型需要大量基础设施。
API的想法源于OpenAI寻求在保持安全监督的同时将其模型商业化。GPT-3 API的私人测试版于2019年11月开始，随后于2020年6月公开发布。该API托管在Azure（微软的云平台）上，此前微软于2019年7月宣布投资10亿美元。这一合作伙伴关系为GPT-3的训练和部署提供了必要的计算资源。
功能与特性
GPT-3 API提供了多个用于文本生成和补全的端点。用户可以发送提示，模型返回续写内容，并可通过温度、top-k和top-p等参数控制随机性和多样性。该API还支持针对自定义任务的微调，但初始版本侧重于基于提示的交互。
开发者可以从多种模型规模中进行选择，从小型“Ada”模型到完整的GPT-3“Davinci”模型，以平衡延迟和准确性。该API支持内容创作、聊天机器人、代码生成和语义搜索等用例。其显著特点在于少样本学习：通过在提示中提供几个示例，GPT-3无需额外训练即可执行新任务，这与传统的机器学习方法有所不同。
商业影响
GPT-3 API是OpenAI的商业突破，建立了经常性收入模式。到2021年中期，已有数千名开发者和数百家公司使用该API，定价基于处理的令牌数量。这一成功为OpenAI后续产品铺平了道路，包括ChatGPT（于2022年11月发布），后者推动了大规模公众采用，并使OpenAI成为领先的人工智能公司。
该API还引发了竞争。Anthropic和AI21 Labs等公司很快推出了自己的语言模型API，而亚马逊云服务、谷歌云和甲骨文云等云提供商也扩展了其机器学习产品。这一生态系统加速了生成式人工智能在从软件开发到市场营销等行业的整合。
技术架构
GPT-3是一个神经网络，采用仅解码器的Transformer架构，这是原始Transformer设计的演进。它使用多头注意力和位置编码来处理序列，并通过无监督学习在大型文本语料库上进行训练。该模型的1750亿参数使其在当时显得庞大，需要专门的训练基础设施。
OpenAI使用基于Azure的超级计算平台进行训练，配备数千个GPU。该API本身通过HTTP请求提供服务，并使用API密钥进行身份验证。在内部，该模型部署在NVIDIA GPU上，尽管OpenAI后来与微软探索了定制芯片。该API的设计影响了后续工作，包括用于ChatGPT的基于人工智能反馈的强化学习微调方法。
遗产与更广泛背景
GPT-3 API证明了商业访问先进人工智能模型的可行性，将行业从仅研究转向产品交付。它是更广泛API生态系统的先驱，在该生态系统中，GPT-4和多模态系统等模型可按需获取。这一举措也引发了滥用和安全问题，促使OpenAI实施使用指南和内容过滤器。
该API的推出恰逢人们对大型语言模型能力的兴趣日益增长，并帮助确立了生成式人工智能作为主流领域。尽管谷歌深度思维和Anthropic等竞争对手推进了自己的模型，但该API为在保持集中控制的同时实现访问民主化树立了先例。如今，GPT-3 API是人工智能发展史上的一个里程碑，凸显了从实验研究向商业产品的转变。