Llama 3.2 बड़े भाषा मॉडल का एक परिवार है जिसे Meta AI द्वारा विकसित किया गया है, और 25 सितंबर 2024 को जारी किया गया। इस परिवार में डिवाइस-आधारित अनुप्रयोगों के लिए डिज़ाइन किए गए घने मॉडल (1B और 3B पैरामीटर) और मल्टीमॉडल क्षमताओं वाले बड़े मॉडल (11B और 90B पैरामीटर) शामिल हैं, जो टेक्स्ट और छवि इनपुट का समर्थन करते हैं। मॉडल अनुसंधान और व्यावसायिक उपयोग दोनों के लिए एक अनुमेय लाइसेंस के तहत उपलब्ध हैं, जिसमें छोटे वेरिएंट स्मार्टफोन और लैपटॉप जैसे एज डिवाइसों के लिए अनुकूलित हैं।
Llama 3.2 का रिलीज़ पहले के Llama 3.1 मॉडलों के बाद, Llama श्रृंखला का एक महत्वपूर्ण विस्तार था। 11B और 90B वेरिएंट दृष्टि समझ को एकीकृत करते हैं, जिससे वे टेक्स्ट के साथ छवियों को संसाधित कर सकते हैं, जो पिछले Llama संस्करणों में मौजूद नहीं था। विशेष रूप से 1B और 3B मॉडल उपभोक्ता हार्डवेयर पर कुशलतापूर्वक चलने के लिए डिज़ाइन किए गए हैं, जिसमें 3B मॉडल कुछ बेंचमार्क पर बड़े मॉडलों के बराबर प्रदर्शन प्राप्त करता है।
आर्किटेक्चर और प्रशिक्षण
Llama 3.2 मॉडल Transformer (architecture) आर्किटेक्चर पर आधारित हैं, जो बेहतर अनुमान दक्षता के लिए समूहीकृत-क्वेरी ध्यान (GQA) के साथ एक डिकोडर-केवल डिज़ाइन का उपयोग करते हैं। विज़न-भाषा मॉडल (11B और 90B) एक विज़न एनकोडर को शामिल करते हैं जो छवियों को टोकन में संसाधित करता है, जिन्हें फिर टेक्स्ट एम्बेडिंग के साथ जोड़ा जाता है। प्रशिक्षण में टेक्स्ट-केवल और मल्टीमॉडल डेटा का संयोजन शामिल था, जिसमें उच्च-गुणवत्ता वाले निर्देश ट्यूनिंग और RLHF और पर्यवेक्षित फाइन-ट्यूनिंग जैसी संरेखण तकनीकों पर ध्यान केंद्रित किया गया था।
छोटे मॉडल (1B और 3B) को 128,000 टोकन की संदर्भ लंबाई के साथ प्रशिक्षित किया गया था, जबकि बड़े मॉडल टेक्स्ट के लिए 128,000 टोकन तक और छवि इनपुट के लिए एक अलग विज़न टॉवर का समर्थन करते हैं। मॉडल 128,000 टोकन की शब्दावली आकार का उपयोग करते हैं और स्थिरता के लिए Layer Normalization और Dropout नियोजित करते हैं।
प्रदर्शन और बेंचमार्क
Llama 3.2 मॉडलों का मूल्यांकन MMLU, GSM8K और HumanEval सहित सार्वजनिक बेंचमार्क की एक श्रृंखला पर किया गया है। 90B मॉडल सामान्य ज्ञान, तर्क और कोडिंग जैसे कार्यों पर OpenAI के GPT-4 और Anthropic के Claude 3.5 Sonnet जैसे अग्रणी मॉडलों के खिलाफ प्रतिस्पर्धी परिणाम प्राप्त करता है। 3B मॉडल, अपने छोटे आकार के बावजूद, निर्देश-पालन और सारांश कार्यों पर कई बड़े मॉडलों से बेहतर प्रदर्शन करता है, जिससे यह डिवाइस-आधारित अनुप्रयोगों के लिए उपयुक्त है।
आंतरिक मूल्यांकन में, 90B मॉडल ने MMLU पर 86.0, GSM8K पर 94.1 और HumanEval पर 89.1 स्कोर किया, जबकि 11B मॉडल ने MMLU पर 83.0, GSM8K पर 88.4 और HumanEval पर 84.9 हासिल किया। ये परिणाम आर्किटेक्चर की दक्षता को उजागर करते हैं, जिसमें 90B मॉडल कुछ कार्यों के लिए मिश्रण-ऑफ-विशेषज्ञ (MoE) डिज़ाइन का उपयोग करता है, हालांकि मानक घने संस्करण भी उपलब्ध हैं।
परिनियोजन और पारिस्थितिकी तंत्र
Llama 3.2 मॉडल प्रमुख क्लाउड प्लेटफार्मों में एकीकृत हैं, जिनमें AWS, Microsoft Azure, Google Cloud और Oracle Cloud शामिल हैं। वे Groq, SambaNova और Intel जैसे हार्डवेयर प्रदाताओं द्वारा भी समर्थित हैं, जो कम-विलंबता अनुमान को सक्षम करते हैं। छोटे मॉडल एज परिनियोजन के लिए अनुकूलित हैं, जिसमें मेमोरी फुटप्रिंट को कम करने के लिए क्वांटाइज़ेशन और प्रूनिंग तकनीकों का समर्थन है।
Meta AI ने स्मार्टफोन में डिवाइस-आधारित AI सुविधाओं को सक्षम करने के लिए Qualcomm और Samsung के साथ साझेदारी की है, जो सारांश और टेक्स्ट जनरेशन जैसे कार्यों के लिए 1B और 3B मॉडल का लाभ उठाते हैं। मॉडल Hugging Face हब के माध्यम से उपलब्ध हैं और PyTorch और TensorFlow जैसे मानक फ्रेमवर्क का उपयोग करके फाइन-ट्यून किए जा सकते हैं।
स्वागत और प्रभाव
Llama 3.2 को Generative AI समुदाय में व्यापक रूप से अपनाया गया है, कई डेवलपर्स प्रोटोटाइपिंग और एज अनुप्रयोगों के लिए छोटे मॉडल का उपयोग कर रहे हैं। 90B विज़न मॉडल के रिलीज़ को दस्तावेज़ समझ और दृश्य प्रश्न-उत्तर जैसे जटिल मल्टीमॉडल कार्यों को संभालने की क्षमता के लिए नोट किया गया है। हालांकि, कुछ आलोचकों ने बताया है कि मॉडलों को अभी भी तथ्यात्मक सटीकता और पूर्वाग्रह में चुनौतियों का सामना करना पड़ता है, जो अन्य बड़े भाषा मॉडलों के समान है।
Llama 3.2 का ओपन-वेट दृष्टिकोण उन्नत AI तक पहुंच को लोकतांत्रिक बनाने के लिए प्रशंसित किया गया है, लेकिन इसने संभावित दुरुपयोग के बारे में चिंताएं भी उठाई हैं। Meta ने जोखिमों को कम करने के लिए रेड-टीमिंग और सामग्री फ़िल्टरिंग सहित सुरक्षा उपायों को लागू किया है।
भविष्य की दिशाएँ
Meta ने संकेत दिया है कि Llama 3.2 एक सतत विकास चक्र का हिस्सा है, जिसमें तर्क, बहुभाषी समर्थन और दक्षता में और सुधार की योजनाएं हैं। कंपनी Stanford AI Lab और Berkeley AI Research जैसे शैक्षणिक संस्थानों से तंत्रिका नेटवर्क अनुसंधान के साथ एकीकरण की भी खोज कर रही है। 2025 तक, मॉडल ओपन-वेट AI के लिए एक बेंचमार्क बने हुए हैं, जो अन्य संगठनों के बाद के रिलीज़ को प्रभावित करते हैं।