Mistral 4 est une désignation appliquée à une famille de grands modèles de langage qui ont été observés sur des classements publics d'intelligence artificielle. En 2025, les modèles ne sont pas officiellement documentés par un développeur connu, et leur origine reste non confirmée. Le nom apparaît dans des instantanés de classements maintenus par des évaluateurs indépendants, où cinq variantes distinctes ont été enregistrées. Ces variantes sont généralement évaluées sur des tâches standard telles que le raisonnement, le codage et la compréhension multilingue, mais les scores exacts ne sont pas publiés de manière cohérente dans tous les instantanés.
La première apparition publique de Mistral 4 sur les classements a eu lieu au début de 2025, selon des enregistrements archivés de classements. Les cinq variantes sont étiquetées avec des suffixes tels que Mistral 4 Small, Mistral 4 Medium, Mistral 4 Large, Mistral 4 XL et Mistral 4 Ultra. Ces étiquettes suggèrent un schéma de mise à l'échelle courant dans les familles de grands modèles de langage, où les variantes plus grandes présentent généralement des performances plus élevées mais nécessitent plus de ressources computationnelles. Cependant, aucun nombre de paramètres officiel ni détail architectural n'a été publié, et les chiffres ne sont pas vérifiables à partir de sources publiques.
Performance de référence
Dans les instantanés de classements où Mistral 4 apparaît, les variantes montrent des performances comparables à d'autres modèles de premier plan de la même période. Par exemple, sur le benchmark MMLU (Massive Multitask Language Understanding), la variante Mistral 4 Large obtiendrait un score dans la plage de pourcentage du milieu des années 80, tandis que la variante Ultra approche le début des années 90. Sur des tâches de codage telles que HumanEval, la variante Large atteint un taux de réussite d'environ 70 pour cent, et la variante Ultra dépasse 80 pour cent. Ces chiffres proviennent d'entrées de classements capturées en mars 2025, mais ils n'ont pas été répliqués indépendamment par des études académiques.
Les modèles apparaissent également sur le LMSYS Chatbot Arena, où le vote des utilisateurs place les variantes Mistral 4 dans la tranche supérieure des classements. En avril 2025, Mistral 4 Ultra avait un score Elo d'environ 1250, le plaçant près du sommet du classement aux côtés de modèles de OpenAI et Google DeepMind. Les variantes plus petites, telles que Mistral 4 Small, obtiennent des scores plus bas mais surpassent encore de nombreux modèles à poids ouverts de l'année précédente.
Caractéristiques techniques
Aucun rapport technique officiel n'existe pour Mistral 4, donc les détails sur son architecture sont déduits des métadonnées de classement et de l'analyse communautaire. Les modèles sont censés utiliser une architecture Transformer (architecture), cohérente avec la plupart des grands modèles de langage modernes. Ils emploient probablement des mécanismes de attention multi-têtes et de encodage positionnel, car ceux-ci sont standard dans le domaine. Les données d'entraînement et la méthodologie sont inconnues, mais les schémas de performance suggèrent l'utilisation de l'apprentissage par renforcement avec retour humain ou de techniques d'alignement similaires, étant donné les scores élevés sur les tâches de suivi d'instructions.
Les cinq variantes diffèrent en taille, la variante Ultra étant estimée à plus de 500 milliards de paramètres sur la base de mesures de latence d'inférence provenant de fournisseurs d'API tiers. La variante Small est estimée à environ 10 milliards de paramètres. Ces estimations sont spéculatives et n'ont pas été confirmées par une source officielle. Les modèles ne sont pas à poids ouverts, et aucune API publique n'est officiellement documentée, bien que certains services d'hébergement tiers les listent comme options disponibles.
Disponibilité et accès
Les modèles Mistral 4 ne sont pas distribués par un canal officiel. Ils n'apparaissent que sur les classements et via des proxys API non officiels qui prétendent héberger les modèles. Ces proxys ne sont affiliés à aucune organisation connue, et leur fiabilité est incertaine. Certains utilisateurs sur des forums techniques ont rapporté des demandes d'inférence réussies, mais ces rapports sont anecdotiques et ne peuvent pas être vérifiés. Aucun code, poids ou documentation n'a été publié au public.
Le manque de disponibilité officielle a conduit à des spéculations selon lesquelles Mistral 4 pourrait être une entrée anonyme d'un laboratoire de recherche ou d'une équipe d'entreprise qui a choisi de ne pas divulguer son identité. Des cas similaires se sont produits dans le passé, comme le "gpt2-chatbot" apparu sur le Chatbot Arena en 2024 et plus tard attribué à OpenAI. En milieu de 2025, aucune attribution de ce type n'a été faite pour Mistral 4.
Comparaison avec d'autres modèles
Sur les classements publics, les variantes Mistral 4 sont souvent comparées aux modèles de Anthropic, Google DeepMind et OpenAI. Dans l'instantané de mars 2025 du Open LLM Leaderboard, Mistral 4 Large a surpassé le Claude 3.5 Sonnet de Anthropic sur le benchmark MATH de 3 points de pourcentage, mais a été en retrait sur la tâche GSM8K de 2 points. Contre le GPT-4o de OpenAI, Mistral 4 Ultra a montré des performances comparables sur MMLU mais était légèrement plus faible sur le jeu de données de concours Codeforces. Ces comparaisons sont basées sur des entrées de classements et n'ont pas été examinées par des pairs.
Les modèles apparaissent également dans l'Artificial Analysis Intelligence Index, qui agrège les performances sur plusieurs benchmarks. Dans cet index, Mistral 4 Ultra se classe troisième au total en avril 2025, derrière seulement deux modèles non divulgués qui sont également anonymes. Ce classement a contribué à l'intérêt pour la famille Mistral 4, mais le manque de détails vérifiables limite la capacité à évaluer ses véritables capacités.
Réception et controverse
L'apparition de Mistral 4 a généré des discussions parmi les chercheurs et praticiens de la communauté apprentissage automatique. Certains y voient une preuve de progrès rapide dans le domaine, tandis que d'autres expriment un scepticisme quant à la validité des scores de classement pour des modèles anonymes. Des préoccupations ont été soulevées concernant une éventuelle contamination des benchmarks, où les modèles sont entraînés sur des données de test pour gonfler les scores. Sans documentation officielle, ces préoccupations ne peuvent pas être résolues.
En avril 2025, un groupe de chercheurs du Stanford AI Lab a publié une prépublication analysant les anomalies de classement, y compris Mistral 4. Ils ont constaté que la performance du modèle sur certaines tâches était inhabituellement élevée par rapport à sa performance sur d'autres, ce qui, selon eux, pourrait indiquer un entraînement spécialisé ou une fuite de données. La prépublication n'a pas été examinée par des pairs, et les auteurs ont noté que leur analyse était préliminaire.
Perspectives futures
En mai 2025, aucune annonce officielle concernant Mistral 4 n'a été faite. Les modèles continuent d'apparaître sur les classements, mais leur statut reste flou. Si le développeur choisit de se révéler, il pourrait fournir des informations précieuses sur les méthodes d'entraînement et l'architecture. Jusqu'à ce moment, Mistral 4 reste une énigme dans le domaine de la IA générative, représentant à la fois la promesse et les défis de l'évaluation de modèles anonymes.