किमी K2 बड़े भाषा मॉडलों (large language models) का एक परिवार है, जिसे चीनी कृत्रिम बुद्धिमत्ता कंपनी मूनशॉट एआई (Moonshot AI) द्वारा विकसित किया गया है। यह मॉडल नवंबर 2024 में जारी किया गया था, जो कंपनी के पहले किमी K1 मॉडल के बाद आया था। किमी K2 ने सार्वजनिक बेंचमार्क पर अपने प्रतिस्पर्धात्मक प्रदर्शन के लिए ध्यान आकर्षित किया, विशेष रूप से कोडिंग और गणितीय तर्क कार्यों में, और इसे अपनी पीढ़ी के अग्रणी ओपन-वेट मॉडलों में स्थान दिया गया।
किमी K2 परिवार में कई प्रकार शामिल हैं जो सार्वजनिक LLM और मीडिया लीडरबोर्ड पर दिखाई दिए हैं। 2024 के अंत और 2025 की शुरुआत के बेंचमार्क स्नैपशॉट में कम से कम चार अलग-अलग कॉन्फ़िगरेशन दर्ज किए गए, जो पैरामीटर गणना और संदर्भ विंडो आकार में भिन्न थे। सबसे बड़े संस्करण में 1 ट्रिलियन पैरामीटर होने की सूचना है, जबकि छोटे संस्करण संसाधन-सीमित वातावरण में तैनाती के लिए कम कम्प्यूटेशनल आवश्यकताओं की पेशकश करते हैं।
आर्किटेक्चर और प्रशिक्षण
किमी K2 एक Transformer (architecture) आर्किटेक्चर पर बनाया गया है, जो अधिकांश समकालीन Large language model प्रणालियों के अनुरूप है। यह मॉडल मिश्रण-ऑफ-एक्सपर्ट्स (MoE) डिज़ाइन का उपयोग करता है, जो अनुमान के दौरान केवल पैरामीटरों का एक उपसमूह सक्रिय करता है, जिससे क्षमता का त्याग किए बिना दक्षता में सुधार होता है। 1 ट्रिलियन पैरामीटर संस्करण प्रति संसाधित टोकन लगभग 32 बिलियन सक्रिय पैरामीटरों का उपयोग करता है।
किमी K2 के लिए प्रशिक्षण डेटा में बहुभाषी पाठ का एक विविध कोष शामिल है, जिसमें चीनी और अंग्रेजी स्रोतों पर जोर दिया गया है। मॉडल को पर्यवेक्षित फाइन-ट्यूनिंग और मानव प्रतिक्रिया से सुदृढीकरण सीखने (Reinforcement Learning from AI Feedback (RLAIF)) के संयोजन का उपयोग करके प्रशिक्षित किया गया था, एक तकनीक जो OpenAI और Anthropic जैसे संगठनों द्वारा भी उपयोग की जाती है। प्रशिक्षण डेटासेट आकार और कंप्यूट बजट के बारे में विशिष्ट विवरण मूनशॉट एआई द्वारा पूरी तरह से सार्वजनिक नहीं किए गए हैं।
प्रदर्शन और बेंचमार्क
Artificial intelligence बेंचमार्क लीडरबोर्ड पर, किमी K2 ने कोडिंग कार्यों में मजबूत परिणाम प्रदर्शित किए, जो स्थापित प्रयोगशालाओं के समकालीन मॉडलों के बराबर या उससे अधिक स्कोर प्राप्त करते हैं। HumanEval कोडिंग बेंचमार्क में, शीर्ष संस्करण ने 92.5 प्रतिशत का pass@1 स्कोर दर्ज किया, जबकि MATH-500 डेटासेट पर इसने 94.1 प्रतिशत सटीकता हासिल की। ये आंकड़े इसे उसी अवधि में जारी कई मॉडलों से आगे रखते हैं, जिनमें Google DeepMind और Alibaba Cloud के कुछ प्रस्ताव शामिल हैं।
मॉडल ने सामान्य ज्ञान और तर्क परीक्षणों, जैसे MMLU-Pro, में भी अच्छा प्रदर्शन किया, जहां इसने 84.7 प्रतिशत स्कोर किया। हालांकि, कुछ संवादात्मक और निर्देश-पालन मूल्यांकनों में, किमी K2 अग्रणी मालिकाना मॉडलों से पीछे रह गया, जो इंटरैक्टिव क्षमताओं के बजाय विश्लेषणात्मक पर ध्यान केंद्रित करने का संकेत देता है।
रिलीज़ और उपलब्धता
मूनशॉट एआई ने किमी K2 को एक अनुमोदक ओपन-सोर्स लाइसेंस के तहत जारी किया, जो शैक्षणिक और व्यावसायिक दोनों उपयोगों की अनुमति देता है। मॉडल वेट कंपनी की वेबसाइट और प्रमुख मॉडल होस्टिंग प्लेटफार्मों, जिनमें Hugging Face और Amazon Web Services SageMaker शामिल हैं, के माध्यम से उपलब्ध कराए गए थे। यह खुली रिलीज़ रणनीति कुछ प्रतिस्पर्धियों, जैसे OpenAI की GPT-4 श्रृंखला, के बंद दृष्टिकोणों के विपरीत है, और अनुसंधान समुदाय में व्यापक रूप से अपनाने की सुविधा प्रदान की है।
अपनी रिलीज़ के बाद, किमी K2 को कई तृतीय-पक्ष अनुप्रयोगों और सेवाओं में एकीकृत किया गया। स्वतंत्र डेवलपर्स ने विशेष कार्यों, जिनमें कोड निर्माण और गणितीय समस्या समाधान शामिल हैं, के लिए फाइन-ट्यून किए गए संस्करण बनाए। यह मॉडल प्रौद्योगिकी प्रकाशनों द्वारा संकलित मीडिया लीडरबोर्ड में भी दिखाई दिया, जिसने इसे 2024 के अंत के शीर्ष ओपन-वेट मॉडलों में स्थान दिया।
स्वागत और प्रभाव
किमी K2 की रिलीज़ ने उच्च-प्रदर्शन वाले ओपन-वेट मॉडलों की बढ़ती प्रवृत्ति में योगदान दिया, जो इस धारणा को चुनौती देता है कि अत्याधुनिक परिणामों के लिए मालिकाना प्रणालियों की आवश्यकता होती है। इसके मजबूत कोडिंग प्रदर्शन ने डेवलपर्स और शोधकर्ताओं का ध्यान आकर्षित किया, कुछ ने इसकी क्षमताओं की तुलना उसी समय के आसपास जारी Anthropic और Google DeepMind के मॉडलों से की।
आलोचकों ने कहा कि जबकि किमी K2 बेंचमार्क सेटिंग्स में उत्कृष्ट था, वास्तविक दुनिया का प्रदर्शन एप्लिकेशन के आधार पर भिन्न हो सकता है। मॉडल की बड़ी पैरामीटर गणना, यहां तक कि MoE आर्किटेक्चर के साथ, पूर्ण पैमाने पर तैनाती के लिए पर्याप्त कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, जो इसे NVIDIA GPU या AWS Trainium एक्सेलेरेटर जैसे उच्च-स्तरीय हार्डवेयर तक पहुंच वाले संगठनों तक सीमित करता है।
भविष्य का विकास
मूनशॉट एआई ने संकेत दिया है कि किमी K2 एक चल रहे अनुसंधान कार्यक्रम का हिस्सा है, जिसमें बाद के संस्करणों की योजना बनाई गई है। कंपनी ने अगले पुनरावृत्ति के लिए एक विशिष्ट रिलीज़ तिथि की घोषणा नहीं की है, लेकिन शुरुआती रिपोर्टों से बहुभाषी क्षमताओं और लंबे संदर्भ प्रबंधन में सुधार का सुझाव मिलता है। 2025 की शुरुआत तक, किमी K2 बड़े भाषा मॉडलों के तेजी से विकसित होते परिदृश्य में एक उल्लेखनीय संदर्भ बिंदु बना हुआ है, जो चीनी एआई अनुसंधान समुदाय से एक महत्वपूर्ण योगदान का प्रतिनिधित्व करता है।