Phiは、マイクロソフトリサーチによって開発された一連の小型言語モデル（SLM）である。このファミリーは、大規模モデルよりも大幅に少ないパラメータ数で、推論や言語理解タスクにおいて競争力のある性能を達成するように設計されており、エッジデバイスや計算リソースが限られたシナリオでの展開に適している。これらのモデルは、単なるデータセットの規模よりも、高品質で厳選されたトレーニングデータの重要性を強調しており、この原則が多くの現代の大規模言語モデルの取り組みとは一線を画している。
最初のPhiモデルであるPhi-1は、2023年6月にリリースされた。これは13億パラメータのトランスフォーマーであり、主に大規模モデルによって生成された合成データを用いてトレーニングされ、特にPythonコーディングタスクを対象としていた。Phi-1は、比較的小規模なモデルでもコーディングベンチマークで強力な結果を達成できることを実証し、大規模さが能力に不可欠であるという一般的な前提に挑戦した。続いて2023年9月にはPhi-1.5がリリースされ、再び合成データアプローチを用いて、常識推論や自然言語理解に焦点を拡大した。
アーキテクチャとトレーニング
Phiモデルは、他のLarge language modelと同様に、標準的なTransformer (architecture)アーキテクチャに基づいている。しかし、その決定的な特徴はトレーニング方法論にある。膨大でフィルタリングされていないウェブクロールに依存する代わりに、Phiのトレーニングコーパスは、OpenAIのGPT-4など、より強力なモデルによって生成された合成データで大部分を構成している。この合成データは、高品質で事実に基づき、教育学的に構造化されるように設計されており、教科書風の説明や演習問題に似ていることが多い。
マイクロソフトの研究者らは、トレーニングデータの品質と構造が量よりも重要であると主張した。論理的推論と明確な説明を強調するデータをフィルタリングして生成することで、モデルはより効率的に学習できる。トレーニングプロセスには、既存のウェブデータを慎重にフィルタリングして、低品質または反復的なコンテンツを除去することも含まれていた。このアプローチにより、モデルは、数倍のサイズのモデルを上回ることが多い推論ベンチマークでの性能を達成できた。
モデルのリリースとバリエーション
Phiファミリーはいくつかの反復を経てきた。Phi-1とPhi-1.5の後、マイクロソフトは2023年12月にPhi-2をリリースした。これは27億パラメータのモデルであり、推論、数学、コーディング能力のさらなる改善を示した。Phi-2は、寛容な研究ライセンスの下で利用可能になった。
2024年4月、マイクロソフトはPhi-3ファミリーを導入し、Phi-3-mini（38億パラメータ）、Phi-3-small（70億）、Phi-3-medium（140億）のモデルが含まれていた。これらは、量子化技術によりスマートフォンやその他のエッジハードウェアで実行できるように、オンデバイス推論向けに最適化されている点で注目された。Phi-3モデルはまた、Microsoft Azure AIモデルカタログに統合され、クラウドサービスを介してエンタープライズ顧客がアクセスできるようになった。
2024年後半、マイクロソフトはPhi-3.5とPhi-4をリリースした。2024年12月にリリースされたPhi-4は、高度な推論に焦点を当て、合成データと高品質のウェブデータの混合でトレーニングされた。これは、より少ないパラメータ数で可能なことの限界を押し広げる傾向を継続した。
性能とベンチマーク
Phiモデルは、常識推論（例：HellaSwag、WinoGrande）、言語理解（例：MMLU）、数学（例：GSM8K）など、さまざまなベンチマークで同規模の他のモデルを一貫して上回ってきた。例えば、27億パラメータのPhi-2は、いくつかの推論タスクで70億パラメータのLlama-2モデルの性能を上回ったと報告されている。Phi-3-miniは、その小さなサイズにもかかわらず、特にコード生成と推論において、GPT-3.5などのモデルに匹敵する結果を達成した。
これらの結果は、Generative AIの分野に重要な意味を持つ。データ品質への焦点が、規模の不足を部分的に補うことができ、AIシステムのトレーニングと展開に関連する計算コストとエネルギー消費を削減する可能性があることを示唆している。これは、ローカル処理が好まれるモバイルデバイスやプライバシーに敏感な設定でのArtificial intelligenceアプリケーションに特に関連している。
影響と評価
Phiシリーズは、データ中心のAIへの革新的なアプローチで、Machine learningコミュニティで好評を得ている。これは、モデルを単純にスケールアップすることの収穫逓減と、トレーニングデータセットを厳選することの重要性についての議論を引き起こした。これらのモデルは、コード補完、テキスト要約、簡単な会話エージェントなど、オンデバイスインテリジェンスを必要とするタスクで、学術研究や産業アプリケーションで広く使用されている。
マイクロソフトは、PhiをOpenAIとのパートナーシップで開発されたような大規模モデルの補完として位置づけている。大規模モデルは複雑なクラウドベースのタスクに使用される一方、Phiモデルは、レイテンシ、コスト、またはプライバシーが最重要視されるシナリオ向けの軽量な代替手段を提供する。Phiモデルの寛容なライセンスでのリリースは、微調整されたバリアントやコミュニティ貢献の活発なエコシステムも育んでいる。
今後の方向性
2025年初頭の時点で、Phiファミリーは進化を続けている。マイクロソフトリサーチは、データキュレーション、モデルアーキテクチャ、効率性のさらなる改善を探求している。Phiの成功は、他の組織が同様のデータ中心のアプローチを調査するよう影響を与えており、Phiの背後にある原則が次の世代のDeep learningモデルで役割を果たす可能性が高い。継続的な課題は、モデルサイズをさらに縮小しながら高性能を維持し、モノのインターネットやその他のリソース制約のある環境へのさらに広範な展開を可能にすることである。