GPT-4是由OpenAI开发的大型语言模型，于2023年3月14日发布，是其生成式预训练变换器系列中的第四代。与前代模型不同，GPT-4是一个多模态模型，能够同时接受图像和文本输入，使其能够处理视觉信息与书面语言。这一能力代表了人工智能研究中的一个重要里程碑，将大型语言模型的潜在应用扩展到了纯文本交互之外。GPT-4的前代是GPT-3.5，后续是GPT-5，它被集成到ChatGPT以及后来的OpenAI API中，其中专门用于图像处理的版本称为GPT-4V。
OpenAI未公开披露GPT-4的技术细节，例如精确的模型规模、架构或训练硬件。技术报告明确避免指定这些参数，理由是竞争和安全方面的考虑。这种缺乏透明度的情况与早期模型如GPT-3形成对比，后者有更多可用信息。尽管如此，GPT-4的能力通过各种基准测试和实际应用得到了展示，包括标准化测试和医学问题解答。
背景
OpenAI于2018年推出了第一个GPT模型（GPT-1），基于变换器架构，并在大型书籍语料库上进行训练。次年，GPT-2发布，这是一个更大的模型，能够生成连贯的文本。2020年，GPT-3出现，其参数数量是GPT-2的100多倍，进一步推动了该领域的发展。GPT-3被改进为GPT-3.5，为2022年11月推出的聊天机器人产品ChatGPT提供支持。ChatGPT的成功凸显了大型语言模型的潜力，为GPT-4的开发奠定了基础。
能力
GPT-4的默认版本具有8K的上下文窗口，特殊API版本支持高达32K个令牌。作为多模态模型，它可以处理图像和文本，使用户能够上传照片并根据视觉内容获得建议或答案。这一能力与仅处理文本的前代模型不同，开辟了新的交互途径。
GPT-4还可以通过提示与外部接口交互。例如，模型可以被指示将查询括在<search></search>标签内以执行网络搜索，并将结果插入提示中以提供信息支持响应。这使得GPT-4能够执行超出文本预测的任务，例如使用API、生成图像和访问网页。
2023年《自然》杂志的一篇文章指出，程序员发现GPT-4在编码辅助方面很有用，尽管它容易出错。它可以帮助查找现有代码中的错误并建议性能优化。一位生物物理学家报告称，将程序从MATLAB移植到Python，以前需要几天时间，在GPT-4的帮助下缩短到“大约一个小时”。在89个安全场景的测试中，GPT-4生成的代码有5%的时间容易受到SQL注入攻击，这比2021年的GitHub Copilot有了显著改进，后者的漏洞率为40%。
2023年11月，OpenAI宣布了GPT-4 Turbo和带视觉功能的GPT-4 Turbo，具有128K上下文窗口和显著更低的价格。
在标准化测试中的表现
关于使用聊天机器人进行标准化测试的可靠性，研究存在争议。在托兰斯创造性思维测试中，GPT-4在原创性和流畅性方面得分位于前1%，灵活性得分在93到99百分位之间。
医学应用
微软的研究人员对GPT-4进行了医学问题测试，发现无需专门设计提示，其USMLE成绩就超过及格线20多分，优于GPT-3.5等早期通用模型以及Med-PaLM等针对医学知识微调的模型。尽管表现强劲，报告警告称，在医学应用中使用大型语言模型存在“重大风险”，包括潜在的不准确建议和幻觉性事实错误。2023年4月，微软和Epic Systems宣布计划为医疗保健提供者提供由GPT-4驱动的系统，用于回答患者问题和分析医疗记录。
GPT-4o
2024年5月13日，OpenAI推出了GPT-4o（“o”代表“omni”），这是GPT-4的继任者，能够实时处理并生成跨文本、音频和图像模态的输出。GPT-4o表现出与人类对话相当的快速响应时间，在非英语语言上的性能有所提高，并增强了视觉和音频理解能力。与GPT-4不同，它也可供免费用户使用。
局限性
与其前代模型一样，GPT-4已知会产生幻觉，生成可能包含训练数据中不存在或与用户提示相矛盾的信息。这一局限性对需要高可靠性的应用构成了挑战。
GPT-4在决策过程中也缺乏透明度。虽然它可以为其决策提供解释，但这些解释是事后形成的，无法验证它们是否反映了实际过程。在许多情况下，当被要求解释其逻辑时，GPT-4给出的解释与其先前的陈述直接矛盾。
2023年，研究人员使用ConceptARC（一个旨在衡量抽象推理能力的基准）测试了GPT-4，发现它在所有类别中的得分低于33%，而专门模型在大多数类别中得分60%，人类在所有类别中至少得分91%。未参与研究的Sam Bowman表示，这些结果可能并不表明缺乏抽象推理能力，因为该测试是视觉性的，而GPT-4是一个语言模型。
偏见
GPT-4分两个阶段进行训练。首先，它在大型互联网文本数据集上进行训练，以预测下一个令牌。其次，人类评审员使用基于人类反馈的强化学习对系统进行微调，训练它拒绝违反OpenAI定义的有害行为定义的提示，例如非法活动、自残建议或图形内容请求。微软研究人员建议，GPT-4可能表现出认知偏见，如确认偏见、锚定效应和基础率忽视。
训练
OpenAI未发布GPT-4训练的技术细节。技术报告避免指定模型规模、架构或使用的硬件。它描述了使用大型数据集进行监督学习，随后使用人类和AI反馈进行强化学习，但省略了数据集构建、计算能力和超参数等细节。报告将“竞争格局和大规模模型的安全影响”作为这一决定的原因。
Sam Altman表示，训练GPT-4的成本超过1亿美元。这一巨额投资反映了模型的规模及其开发所需资源。
反响与影响
GPT-4的发布在AI社区及其他领域引起了广泛关注，凸显了生成式AI的快速进展。其多模态能力树立了新标准，影响了后续模型，如GPT-4o和谷歌的Gemini。2023年2月，GPT-4集成到微软的Bing Chat中，展示了在搜索和对话式AI中的实际应用。
GPT-4在标准化测试和专业考试（如USMLE）中的表现引发了关于AI在教育和医疗保健领域潜力的讨论。然而，关于偏见、幻觉和透明度的担忧持续存在，导致呼吁更负责任的AI开发。
遗产
GPT-4于2023年3月在ChatGPT中发布，并一直可用到2025年，之后被移除。它也在2026年10月23日从OpenAI API中移除。其继任者GPT-5继续了GPT系列的演进。GPT-4引入多模态输入处理标志着AI的一个关键时刻，表明大型语言模型可以超越文本，理解和推理视觉信息，为更通用和集成的AI系统铺平了道路。