GPT-4是由OpenAI开发的大型语言模型，是其GPT基础模型系列中的第四代。该模型于2023年3月14日发布，接替了GPT-3.5，随后被其继任者GPT-5所取代。与其前代不同，GPT-4是一个多模态模型，能够处理文本和图像输入。OpenAI未透露该模型的技术细节，包括其精确规模。
背景
OpenAI于2018年推出了首个GPT模型（GPT-1），并发表了一篇题为“通过生成式预训练提高语言理解”的论文，该模型基于Transformer架构，并在大型书籍语料库上进行训练。2019年，他们推出了GPT-2，这是一个能够生成连贯文本的更大模型。2020年，他们发布了GPT-3，其参数数量是GPT-2的100多倍。GPT-3进一步优化为GPT-3.5，并被用于创建ChatGPT聊天机器人。
能力
GPT-4于2023年3月14日发布。默认版本具有8K上下文窗口，API中的特殊版本支持高达32K个令牌。与其前代不同，GPT-4是一个多模态模型：它可以接收图像和文本作为输入。它可以通过语音与用户交互，并对图像作出响应，从而能够根据上传的照片提供建议或答案。
GPT-4可以被提示与外部接口交互。例如，模型可以被指示将查询括在<search></search>标签内以执行网络搜索，搜索结果将插入模型的提示中，使其能够形成响应。这使得模型能够执行超出其正常文本预测能力的任务，例如使用API、生成图像以及访问和总结网页。
2023年《自然》杂志的一篇文章指出，程序员发现GPT-4在辅助编码任务方面很有用（尽管它容易出错），例如查找现有代码中的错误并提出优化建议以提高性能。文章引用了一位生物物理学家的说法，他发现将程序从MATLAB移植到Python所需的时间从几天缩短到了“大约一个小时”。在一项涉及89个安全场景的测试中，GPT-4生成的代码在5%的情况下容易受到SQL注入攻击，这比2021年的GitHub Copilot有所改进，后者在40%的情况下会产生漏洞。
2023年11月，OpenAI宣布推出GPT-4 Turbo和GPT-4 Turbo with Vision模型，其具有128K上下文窗口，且定价显著降低。
标准化测试中的表现
研究对通过标准化测试运行聊天机器人的可靠性提出了质疑。在托兰斯创造性思维测试中，GPT-4在原创性和流畅性方面得分位居前1%，而其灵活性得分在93至99百分位之间。
医学应用
来自微软的研究人员对GPT-4进行了医学问题测试，发现“GPT-4在无需任何专门提示设计的情况下，在USMLE考试中超过及格线20多分，并优于早期通用模型（GPT-3.5）以及专门针对医学知识微调的模型（Med-PaLM，一种基于Flan-PaLM 540B的提示调优版本）。”尽管GPT-4在测试中表现强劲，但报告警告称，在医学应用中使用大型语言模型存在“重大风险”，因为它们可能提供不准确的建议，并产生重大事实错误的幻觉。
2023年4月，微软和Epic Systems宣布，他们将向医疗保健提供商提供基于GPT-4的系统，用于协助回答患者问题和分析医疗记录。
GPT-4o
2024年5月13日，OpenAI推出了GPT-4o（“o”代表“omni”），这是GPT-4的继任者，标志着通过实时处理文本、音频和图像模态的输入和输出取得了重大进展。GPT-4o表现出与人类对话反应相当的快速响应时间，在非英语语言上的性能显著提高，并增强了对视觉和音频的理解。与GPT-4不同，它也可供免费层用户使用。
局限性
与其前代一样，GPT-4已知会产生幻觉，即其输出可能包含训练数据中不存在的信息，或与用户提示相矛盾的内容。
GPT-4在其决策过程中也缺乏透明度。如果被要求，模型可以提供关于其如何以及为何做出决策的解释，但这些解释是事后形成的；无法验证这些解释是否真正反映了实际过程。在许多情况下，当被要求解释其逻辑时，GPT-4给出的解释直接与其之前的陈述相矛盾。
2023年，研究人员使用名为ConceptARC的新基准测试了GPT-4，该基准旨在衡量抽象推理能力，发现其在所有类别中得分低于33%，而专门针对类似任务训练的模型在大多数类别中得分60%，人类在所有类别中至少得分91%。未参与该研究的Sam Bowman表示，这些结果不一定表明缺乏抽象推理能力，因为该测试是视觉性的，而GPT-4是一个语言模型。
偏见
GPT-4分两个阶段进行训练。首先，模型被给予从互联网获取的大型文本数据集，并训练其预测这些数据集中的下一个令牌（大致对应于一个词）。其次，使用人工评审通过一种称为基于人类反馈的强化学习的过程对系统进行微调，该过程训练模型拒绝违反OpenAI有害行为定义的提示，例如如何执行非法活动的问题、如何伤害自己或他人的建议，或描述图形、暴力或性内容的要求。
微软研究人员提出，GPT-4可能表现出认知偏见，如确认偏见、锚定效应和基础率忽视。
训练
OpenAI未发布GPT-4的技术细节；技术报告明确避免指定模型大小、架构或训练和推理期间使用的硬件。虽然报告描述了该模型是通过在大型数据集上进行监督学习，然后使用人类和AI反馈进行强化学习来训练的，但未提供训练细节，包括训练数据集的构建过程、所需的计算能力，或任何超参数，如学习率、周期数或使用的优化器。报告声称，“竞争格局和大规模模型的安全影响”是影响这一决定的因素。
Sam Altman表示，训练GPT-4的成本超过1亿美元。
反响与影响
GPT-4被微软集成到Bing Chat中，该功能于2023年2月推出，早于模型的正式发布。该模型迅速成为众多应用和服务的基础，展示了GPT模型在各个领域的潜力。
可用性
GPT-4于2023年3月在ChatGPT中发布，并一直可用，直到2025年被移除。该模型于2026年10月23日从OpenAI API中移除。