生成式预训练变换器4（GPT-4）是由OpenAI开发的大型语言模型，是其GPT基础模型系列中的第四个。它于2023年3月14日发布，接替了GPT-3.5，并先于GPT-5。GPT-4是一个多模态模型，能够同时处理文本和图像输入，相较于其前身有显著进步。OpenAI尚未公开披露GPT-4的技术细节，包括模型的精确规模、架构或用于训练硬件。
GPT-4于2023年2月集成到微软的必应聊天中，早于次月在ChatGPT中的正式发布。它于2025年从ChatGPT中移除，但仍可通过OpenAI的API访问。该模型的能力和局限性已成为广泛研究和公众讨论的主题。
背景
OpenAI于2018年推出了第一个GPT模型，基于变换器架构，并在大量书籍语料上进行训练。次年，GPT-2展示了在更大规模下生成连贯文本的能力。2020年，GPT-3发布，其参数数量是GPT-2的100多倍，随后被细化为GPT-3.5，为ChatGPT聊天机器人提供支持。GPT-4在此基础上发展，增加了多模态输入处理，并在各种基准测试中提升了性能。
能力
GPT-4的默认版本具有8K上下文窗口，特殊API版本支持高达32K个令牌。与早期模型不同，GPT-4可以接受图像输入，允许用户上传照片进行分析或询问视觉内容相关问题。该模型还可以通过提示与外部接口交互，例如通过在特定标签中封装查询来执行网络搜索，从而实现API调用、图像生成和网页摘要等任务。
2023年《自然》杂志的一篇文章强调了GPT-4在编码辅助方面的实用性，尽管它容易出错。程序员发现它有助于识别错误和提出优化建议；一位生物物理学家报告称，将程序从MATLAB移植到Python的时间从几天缩短到约一小时。在安全测试中，GPT-4生成的代码有5%的时间容易受到SQL注入攻击，而2021年GitHub Copilot的这一比例为40%。
2023年11月，OpenAI宣布推出GPT-4 Turbo和GPT-4 Turbo with Vision，具有128K上下文窗口和更低的定价。
在标准化测试中的表现
关于GPT-4在标准化测试中表现的研究结果不一。在托兰斯创造性思维测试中，GPT-4在原创性和流畅性方面得分位于前1%，灵活性得分在93%到99%百分位之间。
医学应用
来自微软的研究人员测试了GPT-4在医学问题上的表现，发现其超过USMLE及格线20多分，优于GPT-3.5以及像Med-PaLM这样在医学知识上微调的模型。然而，报告警告了在医学应用中使用大型语言模型的重大风险，指出可能存在不准确和幻觉。2023年4月，微软和Epic Systems宣布计划提供由GPT-4驱动的系统，用于患者询问和医疗记录分析。
GPT-4o
2024年5月13日，OpenAI推出了GPT-4o（“o”代表“omni”），这是一个能够实时处理和生成文本、音频和图像模态的继任者。GPT-4o提供了与人类对话相当的快速响应时间，在非英语语言上性能有所提升，并且可供免费层级用户使用，这与GPT-4不同。
局限性
GPT-4与其前身一样，已知会产生幻觉，即输出包含训练数据中不存在的信息或与用户提示相矛盾的内容。它还缺乏决策透明度；对其推理的解释是事后形成的，无法验证其准确性。在许多情况下，这些解释直接与之前的陈述相矛盾。
2023年，研究人员在ConceptARC（一个抽象推理基准）上测试了GPT-4，发现其所有类别的得分均低于33%，而专门模型在大多数类别上得分60%，人类得分至少为91%。未参与该研究的Sam Bowman指出，这些结果可能并不表明缺乏抽象推理能力，因为该测试是视觉性的，而GPT-4是一个语言模型。
偏见
GPT-4的训练分为两个阶段：首先，在大型互联网文本数据集上预测下一个令牌；其次，使用基于人类反馈的强化学习来微调行为并拒绝有害提示。微软研究人员建议，GPT-4可能表现出认知偏见，如确认偏见、锚定效应和基础率忽视。
训练
OpenAI未发布GPT-4训练的技术细节。技术报告避免指定模型规模、架构或硬件，理由是竞争和安全影响。它描述了监督学习和强化学习（结合人类和AI反馈）的组合，但省略了数据集构建、计算能力和超参数等细节。Sam Altman表示训练成本超过1亿美元。