Kimi K2.5 est une famille de modèles de langage de grande taille développée par Moonshot AI, une entreprise chinoise d'intelligence artificielle. Les modèles sont conçus pour le raisonnement avancé, le codage et la génération de texte à usage général, s'appuyant sur l'architecture antérieure Kimi K2. Depuis le début de l'année 2025, la famille Kimi K2.5 est apparue sur plusieurs classements publics de modèles de langage, notamment le LMArena et l'Open LLM Leaderboard, avec cinq variantes distinctes capturées dans des instantanés de référence. Cependant, Moonshot AI n'a pas officiellement publié toutes les variantes ; certaines entrées sont répertoriées comme des soumissions anonymes à l'arène, et les spécifications techniques détaillées restent partiellement non divulguées.
La famille Kimi K2.5 représente une amélioration itérative par rapport à son prédécesseur, Kimi K2, publié à la fin de l'année 2024. Les modèles utilisent une architecture transformeur, employant des mécanismes de attention multi-têtes et de attention croisée pour traiter de longs contextes et générer des réponses cohérentes. Bien que les nombres exacts de paramètres pour chaque variante ne soient pas publiquement confirmés, la famille couvre une gamme de tailles, allant de modèles efficaces plus petits à des versions plus grandes et plus capables. Les modèles sont entraînés à l'aide d'une combinaison de réglage fin supervisé et d'apprentissage par renforcement à partir de retours humains (RLHF), alignant les sorties sur les préférences humaines.
Présence sur les classements publics
Les modèles Kimi K2.5 ont été évalués sur des références publiques importantes. Sur le classement LMArena, qui classe les modèles en fonction de batailles de préférences humaines, les variantes K2.5 ont obtenu des scores Elo compétitifs, se plaçant souvent dans le haut du classement aux côtés de modèles de OpenAI, Anthropic et Google DeepMind. Dans l'Open LLM Leaderboard, qui agrège les scores de tâches comme MMLU, GSM8K et HumanEval, la famille K2.5 montre de fortes performances, en particulier en raisonnement mathématique et en génération de code. Par exemple, une variante aurait obtenu un score supérieur à 90 % sur HumanEval, une référence pour la synthèse de code, et supérieur à 85 % sur GSM8K, un ensemble de problèmes de mathématiques de niveau scolaire. Cependant, ces scores sont basés sur des données d'instantanés du début de l'année 2025 et peuvent ne pas refléter les dernières versions des modèles.
Variantes et instantanés
Les cinq variantes de Kimi K2.5 identifiées dans les instantanés de référence sont étiquetées comme suit : Kimi K2.5-7B, Kimi K2.5-14B, Kimi K2.5-32B, Kimi K2.5-70B et Kimi K2.5-MoE. Les variantes 7B et 14B sont conçues pour l'efficacité, adaptées au déploiement sur du matériel grand public et des appareils de périphérie. Les variantes 32B et 70B offrent un équilibre entre performance et exigences en ressources. La variante MoE (Mixture of Experts), probablement avec un nombre total de paramètres autour de 100B mais avec un nombre de paramètres actifs plus petit, vise à atteindre des performances élevées avec un coût d'inférence plus faible. Selon les derniers instantanés, seules les variantes 7B et 14B ont été officiellement publiées par Moonshot AI ; les variantes plus grandes n'apparaissent que comme des entrées anonymes sur les classements, ce qui suggère qu'elles pourraient être en évaluation interne ou en version bêta limitée.
Caractéristiques techniques
Les modèles Kimi K2.5 intègrent plusieurs techniques avancées. Ils utilisent un encodage positionnel pour gérer de longues séquences, avec une fenêtre de contexte allant jusqu'à 128 000 jetons, permettant le traitement de documents longs et de conversations multi-tours. Les modèles emploient un échantillonnage top-k et un échantillonnage top-p pendant la génération, permettant un contrôle de la randomisation et de la diversité des sorties. De plus, un réglage de température est utilisé pour ajuster la créativité des réponses. Le processus d'entraînement a probablement impliqué un apprentissage par curriculum, où les modèles sont entraînés sur des exemples progressivement plus difficiles, et un écrêtage de gradient pour stabiliser l'entraînement. Les modèles sont optimisés à l'aide de variantes de l'optimiseur Adam, un choix populaire pour l'entraînement de réseaux neuronaux profonds.
Développement et publication
Moonshot AI, fondée en 2023, s'est positionnée comme un acteur clé du paysage de l'IA en Chine. La série Kimi, y compris K2 et K2.5, fait partie des efforts de l'entreprise pour concurrencer les leaders mondiaux en IA générative. Le développement de Kimi K2.5 a été dirigé par une équipe de chercheurs, avec des contributions d'ingénieurs de toute l'entreprise. La publication officielle des variantes plus petites a eu lieu au début de l'année 2025, avec le modèle 7B disponible sur Hugging Face et le modèle 14B sur la plateforme de l'entreprise. Les variantes plus grandes restent non publiées en mars 2025, sans annonce officielle concernant leur disponibilité publique. Les entrées anonymes dans l'arène ont suscité des spéculations sur leurs performances, mais Moonshot AI n'a pas confirmé leur existence ni fourni de résultats de référence officiels.
Réception et impact
L'apparition de Kimi K2.5 sur les classements a suscité un intérêt dans la communauté de l'IA. Des évaluations indépendantes suggèrent que les modèles performent de manière compétitive avec des modèles open-source établis comme Llama et Mistral, en particulier dans les tâches de raisonnement. Cependant, le manque de documentation officielle pour les variantes plus grandes a conduit à un certain scepticisme quant aux scores rapportés. Au début de l'année 2025, la famille Kimi K2.5 n'a pas encore eu un impact significatif sur l'écosystème plus large de l'IA, mais sa présence sur les classements indique que Moonshot AI repousse activement les limites de la performance des modèles. Les futures publications et références officielles clarifieront probablement la position du modèle dans le domaine.