ファンデーションモデルとは、広範かつしばしばウェブ規模のデータで訓練された機械学習モデルであり、単一の狭い目的のために構築されるのではなく、幅広い下流タスクに適応できるものである。この用語は、Percy Liangを含む研究者らが主導したスタンフォード大学のファンデーションモデル研究センター（CRFM）による2021年の報告書で作られた。彼らは、GPT-3やBERTのようなモデルが新たなパラダイムを表すと論じた。すなわち、単一のモデルが一度事前訓練されると、ファインチューニング、インコンテキスト学習、またはプロンプティングを通じて多くのアプリケーションの基盤として機能し、各タスクごとにゼロから訓練されたモデルを必要としないというものである。
起源と定義
CRFM報告書は、ファンデーションモデルを、パラメータ、データ、計算における規模の組み合わせ、自己教師あり 事前訓練のようなラベルなしデータに対する広範な訓練目的、そして汎用性、すなわち単一モデルの学習された表現が比較的軽い適応で多くの下流タスクに転移することを特徴として区別した。この枠組みは、あるタスクやデータセットで事前訓練されたモデルが、通常はファインチューニング後に、関連タスクで再利用されるという、より初期の転移学習の考えに基づき、それを拡張したものである。
例
ファンデーションモデルはモダリティにまたがる。テキスト中心のモデルとしては、GPTシリーズ、Claude、Gemini、Llamaがある。CLIPスタイルの事前訓練に基づく視覚言語システム、Stable Diffusionのような画像生成モデル、そしてWhisperのような音声モデルも含まれる。ほとんどの大規模言語モデルはこの意味でファンデーションモデルであるが、この用語はLLMより先に存在し、より広範であり、非テキストやマルチモーダルシステムもカバーする。
この用語が使われる理由
このラベルは、AIシステムの構築と展開方法の変化を捉えるために部分的に登場した。研究グループがタスクごとに特注モデルを訓練する代わりに、オープンウェイトまたはプロプライエタリなファンデーションモデルが一度リリースされ、その後多くの下流ユーザーによって適応され、新しいAIアプリケーションを構築するコストを劇的に削減する。これにより、Hugging Faceのようなプラットフォームに代表されるエコシステムが生まれ、ゼロから訓練するのではなく、ファンデーションモデルの共有、ファインチューニング、展開を中心としたものとなった。この用語は政策議論でも有用であることが証明された。なぜなら、EU AI法のような規制は、その上にアプリケーションを構築するだけの開発者とは区別して、汎用またはファンデーションモデルの提供者に特定の義務を課したからである。
批判と注意点
CRFM報告書自体もリスクを認めていた。ファンデーションモデルは、それらを訓練できる少数の組織の手に能力と影響力を集中させ、その広範な訓練データに存在する偏りを、それらに基づくすべての下流アプリケーションに伝播させ、訓練データの分布外では予測不能に振る舞う可能性がある。この枠組みを歓迎した批評家を含む一部の人々は、「ファンデーション」という言葉が、初期の大規模モデルが常に持っていたわけではない安定性と信頼性を暗示し、また、モデルがオープンかクローズドか、異なるアライメント技術で訓練されているかなど、モデル間の有意義な違いを曖昧にし得ると指摘した。それにもかかわらず、ファンデーションモデルは、導入から数年以内に研究論文と規制の両方で標準的な語彙となった。
他の用語との関係
ファンデーションモデルはフロンティアモデルと大きく重複するが、同一ではない。フロンティアモデルは特定の時点で最も能力の高いモデルを特に指し、LLMはテキストに特化している。ファンデーションモデルは能力の最前線にある必要はなく、すべてのファンデーションモデルが言語モデルであるわけでもない。