Kimi K2は、中国の人工知能企業であるMoonshot AIによって開発された大規模言語モデルのファミリーである。このモデルは2024年11月にリリースされ、同社の初期のKimi K1モデルに続くものである。Kimi K2は、特にコーディングや数学的推論タスクにおける公開ベンチマークでの競争力のある性能で注目を集め、同世代の主要なオープンウェイトモデルの中に位置づけられた。
Kimi K2ファミリーには、公開LLMおよびメディアのリーダーボードに登場した複数のバリアントが含まれる。2024年後半から2025年初頭にかけてのベンチマークスナップショットでは、パラメータ数とコンテキストウィンドウサイズが異なる少なくとも4つの異なる構成が記録された。最大のバリアントは1兆パラメータを持つと報告されており、小型版はリソース制約のある環境での展開のために計算要件を削減している。
アーキテクチャとトレーニング
Kimi K2は、Transformer (architecture)アーキテクチャに基づいて構築されており、これは現代のLarge language modelシステムの大半と一致している。このモデルは混合専門家（MoE）設計を採用しており、推論中にパラメータのサブセットのみを活性化することで、容量を犠牲にすることなく効率を向上させている。1兆パラメータ版は、処理されるトークンあたり約32億のアクティブパラメータ数を使用する。
Kimi K2のトレーニングデータには、中国語と英語のソースに重点を置いた多言語テキストの多様なコーパスが含まれる。このモデルは、教師あり微調整と人間のフィードバックからの強化学習（Reinforcement Learning from AI Feedback (RLAIF)）の組み合わせを使用してトレーニングされており、これはOpenAIやAnthropicなどの組織でも使用されている技術である。トレーニングデータセットのサイズや計算予算に関する具体的な詳細は、Moonshot AIによって完全には開示されていない。
性能とベンチマーク
Artificial intelligenceベンチマークリーダーボードにおいて、Kimi K2はコーディングタスクで強力な結果を示し、確立された研究所からの同時代のモデルと同等かそれを上回るスコアを達成した。HumanEvalコーディングベンチマークでは、最上位バリアントがpass@1スコア92.5パーセントを記録し、MATH-500データセットでは94.1パーセントの精度を達成した。これらの数値は、Google DeepMindやAlibaba Cloudからのいくつかの提供を含む、同時期にリリースされた複数のモデルを上回るものであった。
このモデルは、MMLU-Proなどの一般的な知識および推論テストでも良好な性能を示し、84.7パーセントをスコアした。しかし、特定の会話および指示追従評価では、Kimi K2は主要なプロプライエタリモデルに遅れをとり、対話型ではなく分析型の能力に焦点を当てていることを示した。
リリースと利用可能性
Moonshot AIは、Kimi K2を寛容なオープンソースライセンスの下でリリースし、学術的および商業的使用の両方を可能にした。モデルの重みは、同社のウェブサイトおよびHugging FaceやAmazon Web Services SageMakerを含む主要なモデルホスティングプラットフォームを通じて利用可能になった。このオープンリリース戦略は、OpenAIのGPT-4シリーズなどの一部の競合他社のクローズドなアプローチとは対照的であり、研究コミュニティでの広範な採用を促進した。
リリース後、Kimi K2はいくつかのサードパーティアプリケーションおよびサービスに統合された。独立した開発者は、コード生成や数学的問題解決などの専門タスク向けに微調整されたバージョンを作成した。このモデルはまた、テクノロジー出版物によって編集されたメディアリーダーボードにも登場し、2024年後半の主要なオープンウェイトモデルの中にランク付けされた。
評価と影響
Kimi K2のリリースは、高性能なオープンウェイトモデルの成長傾向に貢献し、最先端の結果にはプロプライエタリシステムが必要であるという前提に挑戦した。その強力なコーディング性能は開発者や研究者の注目を集め、一部の人々はその能力を同時期にリリースされたAnthropicやGoogle DeepMindのモデルと比較した。
批評家は、Kimi K2がベンチマーク設定で優れている一方で、実際の性能はアプリケーションによって異なる可能性があると指摘した。このモデルの大きなパラメータ数は、MoEアーキテクチャであっても、本格的な展開にはかなりの計算リソースを必要とし、NVIDIA GPUやAWS Trainiumアクセラレータなどのハイエンドハードウェアへのアクセスを持つ組織にその使用を制限している。
将来の開発
Moonshot AIは、Kimi K2が進行中の研究プログラムの一部であり、後続バージョンが計画されていることを示している。同社は次のイテレーションの具体的なリリース日を発表していないが、初期の報告では多言語能力とより長いコンテキスト処理の改善が示唆されている。2025年初頭の時点で、Kimi K2は大規模言語モデルの急速に進化する状況における注目すべき参照点であり続けており、中国のAI研究コミュニティからの重要な貢献を表している。