GPT-4是一个大规模多模态大语言模型,由OpenAI开发,于2023年3月14日发布,作为GPT-3的继任者,并为升级版ChatGPT提供底层模型支持。与其前身不同,GPT-4接受文本和图像输入,尽管其原始版本的输出仍仅限于文本,且OpenAI报告称其在广泛的专业和学术基准测试中表现显著提升,包括在模拟律师资格考试中通过,其百分位排名被OpenAI与人类应试者相比时描述为具有优势。
保密性与技术披露
GPT-4的发布标志着OpenAI在出版实践上的显著转变。与早期详细描述架构和训练数据的GPT论文不同,OpenAI的GPT-4技术报告未披露任何关于模型规模、架构细节、训练计算量或数据集组成的信息,理由是竞争和安全方面的考虑。这一偏离OpenAI早期开放常态的做法引起了研究界部分人士的批评,他们认为这削弱了该领域特有的科学可复现性,并成为关于前沿模型开发者透明度更广泛辩论中经常引用的例子。
AGI的火花
发布后不久,一组微软研究人员发表了《人工通用智能的火花》一文,考察了GPT-4在编程、数学、医学、法律及其他领域的能力,认为该模型展现出超越狭义模式匹配的早期通用问题解决能力,并可以合理地与人工通用智能相关联进行讨论。该论文在推动公众和研究话语转变方面具有影响力,但也因依赖轶事性、非系统性评估而非严格基准测试而受到方法论上的批评。
训练与安全
GPT-4通过大规模预训练及随后的RLHF进行训练,以使其输出与人类偏好对齐,并在发布前与外部研究人员进行了广泛的红队测试,这是与行业中红队测试和防护措施相关实践的应用。OpenAI后来发布了GPT-4 Turbo及其他迭代更新,扩展了上下文长度并降低了成本,并将GPT-4作为付费ChatGPT层级的默认模型,推动了订阅收入的持续增长。
影响
GPT-4的发布加剧了AI行业的竞争压力,促使Google DeepMind、Anthropic及其他实验室加速发布产品,并常被视为前沿语言模型开发从学术邻近研究文化向大规模、资本密集型商业竞争决定性转变的节点,这一时期有时被视作更广泛AI繁荣的一部分。OpenAI后来于2024年发布了OpenAI o1,作为基于GPT-4级基础模型构建的、专注于推理的独立继任产品线。