Kimi K2 est une famille de grands modèles de langage développée par l'entreprise chinoise d'intelligence artificielle Moonshot AI. Le modèle a été publié en novembre 2024, après le modèle précédent de l'entreprise, Kimi K1. Kimi K2 a attiré l'attention pour ses performances compétitives sur les benchmarks publics, notamment dans les tâches de codage et de raisonnement mathématique, le positionnant parmi les principaux modèles à poids ouverts de sa génération.
La famille Kimi K2 comprend plusieurs variantes qui sont apparues sur les classements publics de LLM et dans les médias. Les instantanés de benchmarks de fin 2024 et début 2025 ont enregistré au moins quatre configurations distinctes, différant par le nombre de paramètres et la taille de la fenêtre de contexte. La plus grande variante est signalée comme ayant 1 billion de paramètres, tandis que les versions plus petites offrent des exigences de calcul réduites pour un déploiement dans des environnements aux ressources limitées.
Architecture et entraînement
Kimi K2 est construit sur une architecture transformateur, cohérente avec la plupart des systèmes de grands modèles de langage contemporains. Le modèle utilise une conception de mélange d'experts (MoE), qui n'active qu'un sous-ensemble de paramètres lors de l'inférence, améliorant l'efficacité sans sacrifier la capacité. La version à 1 billion de paramètres utilise un nombre actif de paramètres d'environ 32 milliards par jeton traité.
Les données d'entraînement de Kimi K2 incluent un corpus diversifié de textes multilingues, avec un accent sur les sources en chinois et en anglais. Le modèle a été entraîné en combinant un ajustement fin supervisé et un apprentissage par renforcement à partir de retours humains (RLHF), une technique également utilisée par des organisations telles que OpenAI et Anthropic. Les détails spécifiques sur la taille de l'ensemble de données d'entraînement et le budget de calcul n'ont pas été entièrement divulgués par Moonshot AI.
Performances et benchmarks
Sur les classements de benchmarks en intelligence artificielle, Kimi K2 a démontré de solides résultats dans les tâches de codage, atteignant des scores comparables ou supérieurs à ceux des modèles contemporains de laboratoires établis. Dans le benchmark de codage HumanEval, la variante la plus performante a enregistré un score pass@1 de 92,5 pour cent, tandis que sur l'ensemble de données MATH-500, elle a atteint une précision de 94,1 pour cent. Ces chiffres l'ont placée devant plusieurs modèles publiés dans la même période, y compris certaines offres de Google DeepMind et Alibaba Cloud.
Le modèle a également bien performé sur les tests de connaissances générales et de raisonnement, tels que MMLU-Pro, où il a obtenu un score de 84,7 pour cent. Cependant, sur certaines évaluations conversationnelles et de suivi d'instructions, Kimi K2 a été devancé par les principaux modèles propriétaires, indiquant un accent sur les capacités analytiques plutôt qu'interactives.
Publication et disponibilité
Moonshot AI a publié Kimi K2 sous une licence open-source permissive, permettant une utilisation académique et commerciale. Les poids du modèle ont été mis à disposition via le site web de l'entreprise et via les principales plateformes d'hébergement de modèles, y compris Hugging Face et Amazon Web Services SageMaker. Cette stratégie de publication ouverte contraste avec les approches fermées de certains concurrents, telles que la série GPT-4 d'OpenAI, et a facilité une adoption généralisée dans la communauté de recherche.
Après sa publication, Kimi K2 a été intégré dans plusieurs applications et services tiers. Des développeurs indépendants ont créé des versions ajustées finement pour des tâches spécialisées, y compris la génération de code et la résolution de problèmes mathématiques. Le modèle est également apparu dans les classements médiatiques compilés par des publications technologiques, qui l'ont classé parmi les meilleurs modèles à poids ouverts de fin 2024.
Réception et impact
La publication de Kimi K2 a contribué à la tendance croissante des modèles à poids ouverts haute performance, remettant en question l'hypothèse selon laquelle des résultats de pointe nécessitent des systèmes propriétaires. Ses fortes performances en codage ont attiré l'attention des développeurs et des chercheurs, certains comparant ses capacités à celles des modèles d'Anthropic et de Google DeepMind publiés à peu près à la même époque.
Les critiques ont noté que, bien que Kimi K2 excelle dans les environnements de benchmark, les performances dans le monde réel peuvent varier selon l'application. Le grand nombre de paramètres du modèle, même avec l'architecture MoE, nécessite des ressources de calcul substantielles pour un déploiement à grande échelle, limitant son utilisation aux organisations ayant accès à du matériel haut de gamme tel que les GPU NVIDIA ou les accélérateurs AWS Trainium.
Développement futur
Moonshot AI a indiqué que Kimi K2 fait partie d'un programme de recherche en cours, avec des versions ultérieures prévues. L'entreprise n'a pas annoncé de date de publication spécifique pour la prochaine itération, mais les premiers rapports suggèrent des améliorations dans les capacités multilingues et la gestion de contextes plus longs. En début 2025, Kimi K2 reste un point de référence notable dans le paysage en évolution rapide des grands modèles de langage, représentant une contribution significative de la communauté chinoise de recherche en IA.