GPT-4 Turbo是由OpenAI开发的大型语言模型，于2023年11月发布，是早期GPT-4模型的增强版本。其最显著的改进包括128K token的上下文窗口，使模型能够处理更长的输入，以及更低的API定价结构。此次发布还引入了GPT-4 Turbo with Vision，这是一种能够同时处理文本和图像的变体。GPT-4 Turbo于2024年5月被GPT-4o取代，后者提供了实时多模态处理，并向ChatGPT用户免费开放。
背景
OpenAI于2018年推出了首个GPT模型，基于Transformer (architecture)架构，并在大量书籍语料库上进行训练。随后的迭代版本，2019年的GPT-2和2020年的GPT-3，扩大了参数规模并改进了文本生成能力。GPT-3.5为2022年11月ChatGPT的首次发布提供了支持，使大型语言模型进入主流视野。GPT-4于2023年3月发布，增加了多模态能力，可接受文本和图像输入。默认版本具有8K上下文窗口，而特殊API变体支持高达32K token。GPT-4 Turbo的开发旨在解决上下文长度和成本方面的限制，建立在其前身的基础上。
公告与发布
OpenAI于2023年11月6日在旧金山举行的首届开发者大会DevDay上宣布了GPT-4 Turbo。该模型通过OpenAI API提供，定价为每1,000个输入token $0.01，每1,000个输出token $0.03，比GPT-4便宜约三倍。128K上下文窗口使模型能够在单次请求中处理超过300页文本的文档。OpenAI还推出了GPT-4 Turbo with Vision的更新版本，该版本可以同时分析图像和文本。公告强调了在指令遵循、JSON模式和函数调用方面的改进，使模型更适合开发者应用。
能力
GPT-4 Turbo保留了GPT-4的多模态输入能力，允许用户提供文本和图像。它可以通过函数调用与外部工具交互，实现网页搜索、API调用和图像生成等任务。扩展的上下文窗口使模型能够在更长的对话中保持连贯性，并处理整本书籍或代码库。在2023年《自然》杂志的一篇文章中，程序员报告称GPT-4 Turbo在编码任务中提供了帮助，例如识别错误和建议优化，尽管它容易出错。在89个安全场景的测试中，GPT-4生成的代码在5%的情况下容易受到SQL注入攻击，这比2021年GitHub Copilot的40%漏洞率有所改善。
标准化测试表现
关于GPT-4 Turbo在标准化测试中表现的研究有限，但早期对GPT-4的评估显示出强劲的结果。在托兰斯创造性思维测试中，GPT-4在原创性和流畅性方面得分位于前1%，灵活性得分在93到99百分位之间。研究人员警告说，让聊天机器人通过此类测试可能并不可靠，因为模型可能生成看似合理但错误的答案。
医学应用
微软研究人员对GPT-4进行了医学问题测试，发现其在美国执业医师资格考试中的得分超过及格线20多分，优于GPT-3.5等早期模型以及Med-PaLM等专业模型。然而，他们警告存在重大风险，包括不准确的建议和重大事实错误的幻觉。2023年4月，微软和Epic Systems宣布计划为医疗保健提供者提供由GPT-4驱动的系统，用于回答患者问题和分析医疗记录，这一趋势在GPT-4 Turbo中得以延续。
局限性
与其前身一样，GPT-4 Turbo可能产生幻觉，生成与用户提示相矛盾或包含虚构信息的输出。它还缺乏决策透明度；当被要求解释其推理时，模型生成的事后解释无法被验证是否反映了实际过程。2023年，研究人员使用ConceptARC基准测试GPT-4，该基准旨在衡量抽象推理能力，发现其在所有类别中得分低于33%，而专业模型在大多数类别中得分60%，人类得分至少为91%。未参与该研究的Sam Bowman指出，测试的视觉性质可能对语言模型不利。
偏见
GPT-4 Turbo的训练分为两个阶段：首先，在大型互联网文本数据集上预测下一个token；其次，使用基于人类反馈的强化学习来符合安全指南。微软研究人员认为，GPT-4表现出认知偏见，如确认偏见、锚定效应和基础率忽视。训练过程旨在减少有害输出，但偏见仍可能出现。
训练
OpenAI未披露GPT-4 Turbo训练的技术细节，包括模型规模、架构或硬件。GPT-4的技术报告（可能适用于Turbo）将保密归因于竞争和安全方面的考虑。Sam Altman表示，训练GPT-4的成本超过1亿美元。训练使用了监督学习，随后结合人类和AI反馈的强化学习，但超参数和数据集构建等具体细节未予公开。
反响与影响
GPT-4 Turbo因其较低的成本和更大的上下文窗口而受到开发者的好评，这使长文档分析和复杂代理工作流等新应用成为可能。它巩固了OpenAI在大型语言模型竞争格局中的地位，与Anthropic和Google DeepMind等对手竞争。此次发布还突显了向更高效、更易访问的AI模型发展的趋势，影响了该领域的后续发展。GPT-4 Turbo在OpenAI API中一直可用，直到最终被新模型取代，尽管GPT-4本身于2025年从ChatGPT中移除。