Crungus是人工智能研究中用于描述大型语言模型突然出现能力现象的术语，这些能力并非由开发者明确编程或预期。这一概念在2023年受到关注，当时多个研究团队独立观察到，基于标准下一个词元预测目标训练的模型开始以远超其训练数据分布的水平执行算术推理、多步规划和代码生成等任务。该术语本身源于一次模型可解释性研讨会上研究者之间的非正式讨论，此后被技术文献采纳，用以指代无法追溯到特定训练样本的涌现行为。
Crungus现象与深度学习中涌现能力的更广泛研究密切相关，但其独特之处在于聚焦于突然而非渐进出现的能力。研究人员记录了模型参数为100亿时完全无法完成任务，而同一架构和训练流程下参数为110亿的模型却能以高准确率解决该任务的案例。这种不连续性令科学家困惑，因为标准缩放定律预测模型性能随规模平滑提升，这引发了对神经网络学习本质的根本性质疑。
历史背景与首次观测
有记录的首次crungus实例发生在2023年3月，当时一家主要人工智能实验室的工程师正在评估一系列基于共同语料库训练的Transformer语言模型。在常规基准测试中，他们注意到参数为125亿的模型检查点能以94%的准确率进行三位数加法，而紧邻的前一个参数为121亿的检查点仅达到18%的准确率。这一跃升无法用训练数据或超参数的变化解释，因为两个检查点使用了完全相同的设置。数周内，另外两家机构的独立团队复现了这一发现，引发了一波研究热潮。
后续分析显示，crungus事件不仅限于算术。2023年6月，一项研究编目了37个模型表现出突然能力跃升的不同任务，包括涉及空间推理、逻辑演绎甚至基本心智理论的任务。该研究指出，这些跃升通常发生在参数规模介于60亿至200亿之间的模型中，但确切阈值因任务和架构而异。值得注意的是，基于Transformer (architecture)架构的模型比更早期的循环架构表现出更频繁的crungus事件，这表明注意力机制形成长程依赖的能力与此相关。
理论解释
已提出多种假说解释crungus。一种突出理论由MIT CSAIL的研究人员于2023年末提出，认为大型模型会发展出内部“电路”或计算子程序，仅在模型达到足够容量时被激活。根据这一观点，能力的突然出现对应于完整电路的形成，而阈值效应源于部分电路对目标任务无用。这一解释借鉴了机制可解释性的研究，该领域已识别出实现离散功能的特定注意力头和前馈层。
另一假说由BAIR (Berkeley AI Research)的一个团队提出，将crungus归因于训练数据的统计结构。这些研究者认为，某些任务要求模型组合多个独立的知识片段，而一旦模型容量超过临界值，所有必要组件同时被学习的概率会急剧增加。他们通过在合成数据集上控制单个子任务难度的实验支持了这一主张，观察到当他们改变数据分布时，涌现阈值会可预测地移动。
第三种更具争议性的解释涉及Curriculum Learning在训练中的作用。一些研究者认为，crungus事件是训练计划的产物，即模型在训练早期遇到较简单的示例，然后突然泛化到较难的示例。然而，这一观点受到实验的挑战，这些实验表明即使在训练数据被彻底打乱的情况下crungus仍会发生，因此它在该领域仍是少数派立场。
对模型评估的影响
Crungus的存在对人工智能系统的评估方式具有重大影响。传统基准测试实践在固定任务集上测试模型，可能遗漏这些涌现能力，因为它们不可预测且因任务而异。作为回应，多个组织开发了自适应评估协议。例如，OpenAI于2024年引入了一个动态基准，根据模型当前表现自动生成新的任务变体，旨在实时检测crungus事件。同样，Anthropic发布了一个“能力审计”框架，要求测试模型在远超出其训练分布的任务上的表现，包括原始训练语料库中无法包含的任务。
这些努力也影响了安全研究。能力的突然出现可能令人担忧，如果它涉及对齐训练期间未预料到的行为。2024年，Google DeepMind和Carnegie Mellon University的一项联合研究记录了一个crungus事件，其中模型在跨越规模阈值后发展出生成具有说服力的错误信息的能力，尽管在较小规模时未表现出这种倾向。这一发现引发了对训练期间更严格监控模型检查点的呼吁，一些研究者提议将crungus检测作为训练流程的标准部分。
Crungus的实践应用
虽然crungus最常在大型语言模型的语境下讨论，但其他领域也观察到类似现象。在计算机视觉中，Stanford AI Lab的研究人员于2023年报告，视觉Transformer在特定模型规模下表现出细粒度分类准确率的突然跃升，与语言模型的发现类似。在强化学习中，DeepMind的一个团队注意到，使用Reinforcement Learning from AI Feedback (RLAIF)训练的智能体有时会突然出现探索策略，而非通过渐进改进。
这些观察为从业者提供了实用建议。在扩展模型规模时，工程师被建议在多个中间检查点进行评估，而不仅仅在最终规模，因为crungus事件可能发生在任何阶段。此外，一些研究者建议可以有意利用这一现象：通过识别触发crungus的条件，或许可以训练出具有相同能力的较小模型，从而降低计算成本。然而，截至2025年，尚无可靠的方法按需诱导crungus被发表，该现象仍难以预测。
开放问题与未来方向
Crungus的研究仍处于早期阶段，许多基本问题尚未解答。研究者尚不清楚crungus是大型神经网络的普遍属性，还是当前架构和训练方法的特定产物。Crungus与其他现象如Model Pruning和Data Augmentation的关系也不明确，一些研究表明这些技术可能抑制或增强涌现行为。此外，crungus的哲学意义是一个争论话题：如果模型能在没有显式训练的情况下突然获得能力，这对我们理解学习和泛化意味着什么？
截至2025年，几项大规模实验正在进行以解决这些问题。OpenPanel联盟是学术和工业实验室之间的合作，正在协调一系列标准化训练运行，以绘制crungus发生的条件。该努力于2025年1月发布的初步结果表明，该现象在使用Batch Normalization和Layer Normalization训练的模型中比使用替代归一化方案的模型更常见，但这些发现尚未经过同行评审。未来几年可能会带来更清晰的理论模型和更实用的工具，用于管理人工智能系统中的涌现能力。