GPT-4（生成式预训练变换器4）是由OpenAI开发的大型语言模型，于2023年3月14日发布。它是OpenAI的GPT基础模型系列中的第四代，继GPT-3.5之后，并在GPT-5之前。与之前的版本不同，GPT-4是多模态的，能够处理文本和图像输入。OpenAI未披露模型规模、架构或训练硬件等技术细节，理由是竞争和安全方面的考虑。该模型于2023年2月集成到微软的必应聊天中，并于2023年3月在ChatGPT中可用，于2025年从ChatGPT中移除。GPT-4仍可通过OpenAI的API访问。
背景
OpenAI于2018年推出了第一个GPT模型，基于变换器架构，在大量书籍语料库上进行训练。GPT-2于2019年推出，能够大规模生成连贯文本。2020年，GPT-3将参数扩展到比GPT-2多100倍以上，进一步的改进催生了GPT-3.5，它为ChatGPT聊天机器人提供了支持。GPT-4在此基础上构建，增强了能力并支持多模态输入。
能力
默认的GPT-4版本具有8K上下文窗口，API变体支持高达32K个标记。其多模态特性允许图像和文本输入，从而能够响应照片上传和语音交互。GPT-4可以被提示与外部接口交互，例如使用搜索标签执行网络查询，将结果整合到响应中，并执行API调用、图像生成和网页摘要等任务。
2023年《自然》杂志的一篇文章强调了GPT-4在编码方面的实用性，尽管存在错误倾向。一位生物物理学家报告称，将MATLAB到Python的移植工作从几天缩短到约一小时。在89个场景的安全测试中，GPT-4产生SQL注入漏洞代码的概率为5%，而2021年GitHub Copilot为40%。2023年11月，OpenAI发布了GPT-4 Turbo，具有128K上下文窗口和更低的价格。
标准化测试中的能力
研究对聊天机器人测试表现的可靠性提出了质疑。在托兰斯创造性思维测试中，GPT-4在原创性和流畅性方面得分位于前1%，灵活性得分位于第93至第99百分位。
医学应用
微软研究人员发现，GPT-4超过美国医师执照考试及格分数20多分，优于GPT-3.5和医学微调模型（如Med-PaLM），且无需专门的提示设计。然而，他们警告存在重大风险，包括不准确的建议和幻觉事实。2023年4月，微软和Epic Systems宣布推出由GPT-4驱动的系统，用于患者查询和医疗记录分析。
GPT-4o
2024年5月13日，OpenAI推出了GPT-4o（“o”代表“全能”），实时处理文本、音频和图像模态。它提供了快速响应时间，改善了非英语语言性能，并且与GPT-4不同，可供免费层级用户使用。
局限性
GPT-4可能产生幻觉，输出训练数据中不存在或与提示相矛盾的内容。其决策过程缺乏透明度；解释是事后性的，通常无法验证，有时与先前陈述相矛盾。2023年，在ConceptARC抽象推理基准测试中，GPT-4在各类别中得分低于33%，而专门模型得分为60%，人类至少为91%。Sam Bowman指出，该测试的视觉性质可能无法反映语言模型的推理能力。
偏见
GPT-4的训练涉及两个阶段：在互联网文本上进行无监督预训练，然后通过人类反馈的强化学习（RLHF）来拒绝有害提示。微软研究人员建议，GPT-4可能表现出认知偏见，如确认偏见、锚定效应和基础率忽视。
训练
OpenAI的技术报告省略了模型规模、架构、硬件、数据集构建、计算量和超参数。训练使用了监督学习和强化学习，并结合了人类和AI反馈。Sam Altman表示训练成本超过1亿美元，但具体数字仍未公开。
反响与影响
GPT-4在AI领域树立了新的基准，影响了来自Anthropic和Google DeepMind等竞争对手的后续模型。其多模态能力扩展了生成式AI的应用，从创意工具到医学诊断。该模型的局限性，包括幻觉和偏见，引发了关于AI安全和透明度的辩论，推动了对对齐和评估方法的研究。
遗产
GPT-4的发布标志着大型语言模型的一个里程碑，展示了跨领域的实际效用。其继任者GPT-5延续了该系列，而GPT-4仍然是多模态AI的参考点。该模型的影响在人工智能和机器学习的持续发展中依然存在。