Mistral 4は、公開の人工知能リーダーボードで観測されている大規模言語モデルのファミリーに適用される呼称である。2025年時点で、これらのモデルは既知の開発者によって公式に文書化されておらず、その起源は未確認のままである。この名称は、独立した評価者によって維持されるベンチマークのスナップショットに登場し、そこでは5つの異なるバリアントが記録されている。これらのバリアントは通常、推論、コーディング、多言語理解などの標準的なタスクで評価されるが、正確なスコアはすべてのスナップショットで一貫して公開されているわけではない。
リーダーボードでのMistral 4の最初の公的な出現は、アーカイブされたベンチマーク記録によると2025年初頭に発生した。5つのバリアントは、Mistral 4 Small、Mistral 4 Medium、Mistral 4 Large、Mistral 4 XL、Mistral 4 Ultraなどの接尾辞でラベル付けされている。これらのラベルは、大規模言語モデルのファミリーに共通するスケーリングパターンを示唆しており、より大きなバリアントは一般的に高い性能を示すが、より多くの計算リソースを必要とする。しかし、公式のパラメータ数やアーキテクチャの詳細は公開されておらず、その数値は公開情報源から検証可能ではない。
ベンチマーク性能
Mistral 4が登場するベンチマークのスナップショットでは、バリアントは同期間の他の主要モデルと同等の性能を示している。例えば、MMLU（Massive Multitask Language Understanding）ベンチマークでは、Mistral 4 Largeバリアントは80%台半ばのスコアを報告されており、Ultraバリアントは90%台前半に近づいている。HumanEvalなどのコーディングタスクでは、Largeバリアントは約70%の合格率を達成し、Ultraバリアントは80%を超える。これらの数値は2025年3月に取得されたリーダーボードエントリから引用されているが、学術研究によって独立に再現されていない。
モデルはまた、LMSYS Chatbot Arenaにも登場し、ユーザー投票によりMistral 4バリアントはランキングの上位層に位置している。2025年4月時点で、Mistral 4 Ultraは約1250のEloレーティングを持ち、OpenAIやGoogle DeepMindのモデルと並んでリーダーボードの上位に位置している。Smallなどの小さなバリアントはスコアが低いが、前年の多くのオープンウェイトモデルを依然として上回っている。
技術的特性
Mistral 4に関する公式の技術レポートは存在しないため、そのアーキテクチャの詳細はリーダーボードのメタデータとコミュニティ分析から推測されている。モデルは、ほとんどの現代の大規模言語モデルと一致するTransformer (architecture)アーキテクチャを使用していると考えられている。また、マルチヘッドアテンションや位置エンコーディングメカニズムを採用している可能性が高く、これらはこの分野で標準的である。トレーニングデータと方法論は不明であるが、性能パターンは、指示追従タスクでの高いスコアを考慮すると、人間のフィードバックからの強化学習や類似の調整技術の使用を示唆している。
5つのバリアントはサイズが異なり、Ultraバリアントは第三者APIプロバイダーからの推論遅延測定に基づいて5000億以上のパラメータを持つと推定されている。Smallバリアントは約100億パラメータと推定されている。これらの推定は推測的であり、公式情報源によって確認されていない。モデルはオープンウェイトではなく、公式に文書化された公開APIもないが、一部の第三者ホスティングサービスはそれらを利用可能なオプションとしてリストしている。
可用性とアクセス
Mistral 4モデルは、公式チャネルを通じて配布されていない。それらはリーダーボードと、モデルをホストしていると主張する非公式のAPIプロキシにのみ登場する。これらのプロキシは既知の組織と提携しておらず、その信頼性は不確かである。技術フォーラムの一部のユーザーは成功した推論リクエストを報告しているが、これらの報告は逸話的であり、検証できない。コード、重み、ドキュメントは公開されていない。
公式の可用性の欠如は、Mistral 4が研究ラボや企業チームからの匿名エントリであり、その身元を開示しないことを選択した可能性があるという憶測を引き起こしている。同様のケースは過去にも発生しており、例えば2024年にChatbot Arenaに登場し、後にOpenAIに帰属された「gpt2-chatbot」がある。2025年半ば時点で、Mistral 4に対してそのような帰属は行われていない。
他のモデルとの比較
公開リーダーボードでは、Mistral 4バリアントはしばしばAnthropic、Google DeepMind、OpenAIのモデルと比較される。Open LLM Leaderboardの2025年3月のスナップショットでは、Mistral 4 LargeはMATHベンチマークでAnthropicのClaude 3.5 Sonnetを3パーセントポイント上回ったが、GSM8Kタスクでは2ポイント遅れを取った。OpenAIのGPT-4oに対して、Mistral 4 UltraはMMLUで同等の性能を示したが、Codeforcesコンテストデータセットではわずかに弱かった。これらの比較はリーダーボードエントリに基づいており、査読は受けていない。
モデルはまた、複数のベンチマークにわたる性能を集約するArtificial Analysis Intelligence Indexにも登場する。そのインデックスでは、Mistral 4 Ultraは2025年4月時点で全体で3位にランクされており、その背後には匿名の未公開モデルが2つだけある。このランキングはMistral 4ファミリーへの関心に貢献しているが、検証可能な詳細の欠如は、その真の能力を評価する能力を制限している。
受け止めと論争
Mistral 4の出現は、機械学習コミュニティの研究者や実践者の間で議論を生んでいる。一部はこれを分野の急速な進歩の証拠と見なす一方、他の者は匿名モデルのリーダーボードスコアの妥当性について懐疑的な見方を示している。ベンチマーク汚染の可能性について懸念が提起されており、モデルがスコアを水増しするためにテストデータでトレーニングされる可能性がある。公式の文書化がないため、これらの懸念は対処できない。
2025年4月、スタンフォードAIラボの研究者グループが、Mistral 4を含むリーダーボードの異常を分析したプレプリントを公開した。彼らは、モデルがあるタスクでの性能が他のタスクと比較して異常に高いことを発見し、これは特殊なトレーニングやデータ漏洩を示唆する可能性があると述べた。このプレプリントは査読されておらず、著者らは分析が予備的であると注記している。
将来の見通し
2025年5月時点で、Mistral 4に関する公式の発表は行われていない。モデルはリーダーボードに登場し続けているが、そのステータスは不明のままである。開発者が身元を明らかにすることを選択した場合、トレーニング方法とアーキテクチャに関する貴重な情報を提供できる可能性がある。それまで、Mistral 4は生成AIの分野で謎のまま残り、匿名モデル評価の約束と課題の両方を代表している。