創発的能力（emergent abilities）は、大規模言語モデルの文脈において、モデルがパラメータ数、学習データ、計算量の一定規模を超えると、スケーリング則に従う全体的な学習損失のように滑らかかつ予測可能に改善するのではなく、突如として現れるように見える能力を指す。ある能力が創発的とされるのは、小規模モデルでは偶然の水準に近い性能を示す一方、同じ系統のより大規模なモデルでは偶然を大きく上回る性能へと跳ね上がり、小規模モデルのスコアから今後の改善が明確に予測できない場合である。
用語の起源
この概念は、2022年に広く引用された論文「Emergent Abilities of Large Language Models」において、Jason Weiらが形式化した。この論文は、モデル系統を横断したベンチマーク結果を調査し、特定の算術問題、一部の多段階推論タスク、指示追従行動など数十のタスクにおいて、小規模モデルではランダム推測に近い平坦な性能を示し、モデルが特定のサイズに達すると急激に上昇することを特定した。この論文は、このパターンを少数ショット学習や文脈内学習といった手法と関連付けた。これらの手法では、追加学習ではなくプロンプト内で与えられた例を使用するモデルの能力が、能力の閾値を超えることに依存しているように見えた。思考連鎖プロンプティング（回答前に段階的に推論するようモデルに求める手法）は、その利点が十分に大規模なモデルでのみ現れ、小規模モデルではほとんどまたは全く利点がなく、時には性能を低下させることさえある手法として引用された。
「幻影」批判
2023年、研究者のRylan Schaeffer、Brando Miranda、Sanmi Koyejoは、「Are Emergent Abilities of Large Language Models a Mirage?」と題する論文を発表し、主張された創発的能力の多くは、基礎となるモデルの真の特性ではなく、研究者が選択した指標の人為的な産物であると論じた。彼らは、回答を完全に正しいか完全に誤りかで採点する厳格な全か無かの正確性指標から、同じタスクと同じモデル出力に対して部分点を与えるより滑らかな指標に切り替えると、一見鋭い性能の跳躍が、スケーリング則に密接に追従する漸進的な連続的改善に変わることを示した。この見解では、基礎となる能力は当初から滑らかに改善しており、不連続な採点ルールの選択だけが、改善を突然の創発のように見せていたことになる。
進行中の論争
この論争は完全には決着していない。元の枠組みの支持者は、一部の能力は実際に現れるために閾値量の規模を真に必要とするように見え、ベンチマークだけでなく実タスクで異なるサイズのモデルを使用した実際の経験は、モデルが確実に実行できることに関して、漸進的な差ではなく質的な差を示すことが多いと指摘する。懐疑派は、証明の責任は、それ自体が構成的に不連続ではない指標の下で不連続な遷移を示すことにあるべきであり、最も劇的な主張された跳躍の多くは、より厳密な統計的調査に耐えていないと反論する。この論争は学術的な関心を超えて重要である。なぜなら、将来の能力向上がどの程度予測可能かに関わるからだ。能力がまだ達していない規模で突然かつ予測不能に現れる可能性があるなら、より高性能なシステムに関連するリスクを予測する取り組みが複雑になる。この懸念は、創発的能力を人工汎用知能やAIによる実存的リスクの広範な議論に結び付ける。