मेटा लामा

Meta Llama परिवार बड़े भाषा मॉडल (LLMs) का एक समूह है, जिसे Meta AI द्वारा विकसित किया गया है, और पहली बार फरवरी 2023 में जारी किया गया था। "Llama" नाम "Large Language Model Meta AI" के लिए एक बैक्रोनिम के रूप में कार्य करता है। मॉडलों को अनुसंधान और व्यावसायिक उपयोग के लिए सुलभ बनाने के लिए डिज़ाइन किया गया है, जिनमें 1 बिलियन से लेकर 2 ट्रिलियन से अधिक तक के विभिन्न पैरामीटर आकार शामिल हैं। प्रारंभ में, Llama एक फाउंडेशन मॉडल था, लेकिन Llama 2 से शुरू करके, Meta AI ने निर्देश-फाइन-ट्यून किए गए संस्करण भी जारी किए। नवीनतम संस्करण, Llama 4, अप्रैल 2025 में जारी किया गया था, और अप्रैल 2026 में, Meta Superintelligence Labs ने Llama के प्रतिस्थापन के रूप में Muse Spark पेश किया।

पृष्ठभूमि

Meta Llama का विकास बड़े भाषा मॉडल में तेजी से प्रगति की पृष्ठभूमि में हुआ। GPT-3 जैसे मॉडलों के जारी होने के बाद, अनुसंधान ने अप-स्केलिंग पर ध्यान केंद्रित किया, जिससे कभी-कभी उभरती क्षमताओं में महत्वपूर्ण लाभ हुआ। ChatGPT का लॉन्च और इसकी अप्रत्याशित सफलता ने LLMs पर जनता और उद्योग का ध्यान बढ़ाया। ChatGPT के जवाब में, Meta के मुख्य AI वैज्ञानिक Yann LeCun ने टिप्पणी की कि बड़े भाषा मॉडल लेखन कार्यों में सहायता के लिए विशेष रूप से उपयोगी हैं, जो Meta की एक सतर्क लेकिन सक्रिय मुद्रा को दर्शाता है।

प्रारंभिक रिलीज़ और लीक

Llama का पहला संस्करण, जिसे LLaMA के रूप में शैलीबद्ध किया गया और कभी-कभी Llama 1 कहा जाता है, 24 फरवरी 2023 को एक ब्लॉग पोस्ट और एक पेपर के माध्यम से घोषित किया गया था, जिसमें इसके प्रशिक्षण, वास्तुकला और प्रदर्शन का विवरण था। अनुमान कोड ओपन-सोर्स GPLv3 लाइसेंस के तहत जारी किया गया था, लेकिन मॉडल वेट्स तक पहुंच शैक्षणिक शोधकर्ताओं और संबद्ध संगठनों तक सीमित थी, जो मामले-दर-मामले आधार पर दी गई थी। मॉडल को सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षित किया गया था और विभिन्न हार्डवेयर क्षमताओं को समायोजित करने के लिए कई आकारों में आया था। Meta ने बताया कि 13B पैरामीटर मॉडल ने अधिकांश NLP बेंचमार्क पर बहुत बड़े GPT-3 (175B पैरामीटर) से बेहतर प्रदर्शन किया, और सबसे बड़ा 65B मॉडल PaLM और Chinchilla जैसे अत्याधुनिक मॉडलों के साथ प्रतिस्पर्धी था।

3 मार्च 2023 को, Llama के वेट्स वाला एक टोरेंट 4chan पर लीक हो गया और AI समुदायों में फैल गया। Meta ने अनधिकृत वितरण और कॉपीराइट उल्लंघन का हवाला देते हुए HuggingFace रिपॉजिटरी और एक GitHub स्क्रिप्ट के खिलाफ हटाने के अनुरोध दायर किए। प्रतिक्रियाएं मिश्रित थीं: कुछ ने दुरुपयोग का डर व्यक्त किया, जबकि अन्य ने पहुंच का जश्न मनाया, इसे Stable Diffusion के खुले वितरण की तुलना में देखा, जिसने तेजी से नवाचार को बढ़ावा दिया।

Llama 2

18 जुलाई 2023 को, Microsoft के साथ साझेदारी में, Meta ने Llama 2 की घोषणा की, जो 7B, 13B, और 70B पैरामीटर आकारों में उपलब्ध था। वास्तुकला काफी हद तक Llama 1 से अपरिवर्तित थी, लेकिन प्रशिक्षण डेटा में 40% की वृद्धि की गई थी। Llama 2 में फाउंडेशन और चैट फाइन-ट्यून दोनों मॉडल शामिल थे, जिनके वेट्स एक लाइसेंस के तहत व्यावसायिक उपयोग के लिए जारी किए गए थे, जिसने एक स्वीकार्य उपयोग नीति लागू की, जिससे यह विवाद हुआ कि क्या यह ओपन सोर्स के रूप में योग्य है। Open Source Initiative ने तर्क दिया कि लाइसेंस प्रतिबंध इसे वास्तव में ओपन सोर्स होने से रोकते हैं।

Code Llama, कोड निर्माण के लिए Llama 2 का एक फाइन-ट्यून, 24 अगस्त 2023 को 7B, 13B, और 34B संस्करणों में जारी किया गया था, जिसके बाद 29 जनवरी 2024 को एक 70B संस्करण आया। प्रशिक्षण में अतिरिक्त 500B टोकन कोड डेटा और 20B टोकन लंबे-संदर्भ डेटा शामिल थे, साथ ही निर्देश-अनुसरण और Python-विशिष्ट मॉडलों के लिए आगे फाइन-ट्यूनिंग की गई।

Llama 3

18 अप्रैल 2024 को, Meta ने 8B और 70B पैरामीटर आकारों के साथ Llama 3 जारी किया। इन मॉडलों को सार्वजनिक रूप से उपलब्ध स्रोतों से लगभग 15 ट्रिलियन टोकन पर पूर्व-प्रशिक्षित किया गया था, जिसमें निर्देश मॉडल सार्वजनिक निर्देश डेटासेट और 10 मिलियन से अधिक मानव-एनोटेटेड उदाहरणों पर फाइन-ट्यून किए गए थे। Meta के बेंचमार्क ने दिखाया कि Llama 3 70B ने अधिकांश परीक्षणों पर Gemini Pro 1.5 और Claude 3 Sonnet से बेहतर प्रदर्शन किया। Meta ने बहुभाषी और मल्टीमॉडल क्षमताओं, बेहतर कोडिंग और तर्क, और एक बड़े संदर्भ विंडो की योजनाओं की घोषणा की।

Llama 3 ने प्रदर्शित किया कि प्रदर्शन Chinchilla-इष्टतम प्रशिक्षण डेटा मात्रा से परे भी लॉग-रैखिक रूप से बढ़ता रहता है। उदाहरण के लिए, 8B मॉडल के लिए Chinchilla-इष्टतम डेटासेट 200 बिलियन टोकन है, लेकिन प्रदर्शन 15 ट्रिलियन टोकन तक सुधरा। Mark Zuckerberg ने नोट किया कि 8B संस्करण लगभग सबसे बड़े Llama 2 जितना शक्तिशाली था, और 70B मॉडल प्रशिक्षण के अंत में भी सीख रहा था, जिसे GPU संसाधनों को कहीं और आवंटित करने के लिए रोक दिया गया था।

Llama 3.1 23 जुलाई 2024 को जारी किया गया था, जिसमें आगे सुधार और विस्तारित संदर्भ लंबाई शामिल थी।

Llama 4 और उत्तराधिकारी

Llama 4 अप्रैल 2025 में जारी किया गया था, जो बढ़ी हुई क्षमताओं के साथ मॉडल परिवार के विकास को जारी रखता है। अप्रैल 2026 में, Meta Superintelligence Labs ने Llama के प्रतिस्थापन के रूप में Muse Spark जारी किया, जो मॉडलों की एक नई पीढ़ी में संक्रमण को चिह्नित करता है।

अनुप्रयोग और पारिस्थितिकी तंत्र

Meta Llama मॉडल विभिन्न उत्पादों और सेवाओं में एकीकृत किए गए हैं। Llama 3 के साथ, Meta ने Meta AI लॉन्च किया, जो Llama पर निर्मित एक AI सहायक है, जो एक समर्पित वेबसाइट और Facebook और WhatsApp जैसे प्लेटफार्मों पर उपलब्ध है। मॉडल तीसरे पक्ष के डेवलपर्स और क्लाउड प्रदाताओं द्वारा भी उपयोग किए जाते हैं, जिनमें Amazon Web Services, Microsoft Azure, और Google Cloud शामिल हैं, ताकि उद्यमों को LLM क्षमताएं प्रदान की जा सकें। Llama की ओपन-वेट प्रकृति ने फाइन-ट्यून किए गए वेरिएंट और टूल्स का एक जीवंत पारिस्थितिकी तंत्र बढ़ावा दिया है, जो जनरेटिव AI मॉडलों के आसपास के समुदाय के समान है।

स्वागत और प्रभाव

Llama मॉडलों की रिलीज़ ने AI परिदृश्य पर महत्वपूर्ण प्रभाव डाला है। Llama 1 का लीक बड़े निगमों के बाहर अनुसंधान और प्रयोग को सक्षम करते हुए शक्तिशाली LLMs तक पहुंच को लोकतांत्रिक बनाने में सहायक था। Llama 2 और बाद के संस्करणों ने OpenAI और Anthropic जैसे मालिकाना मॉडलों के लिए एक व्यावसायिक रूप से व्यवहार्य विकल्प प्रदान किया। हालांकि, लाइसेंसिंग शर्तों ने ओपन सोर्स की परिभाषा पर बहस छेड़ दी है, आलोचकों ने ध्यान दिया कि स्वीकार्य उपयोग नीति कुछ अनुप्रयोगों को प्रतिबंधित करती है। इसके बावजूद, Llama ओपन-वेट मॉडलों के लिए एक बेंचमार्क बन गया है, जो कृत्रिम बुद्धिमत्ता में अन्य ओपन-सोर्स प्रयासों के विकास को प्रभावित करता है।

तकनीकी वास्तुकला

Llama मॉडल ट्रांसफॉर्मर वास्तुकला पर आधारित हैं, जो मल्टी-हेड अटेंशन और पोजिशनल एन्कोडिंग का उपयोग करते हैं। वे प्रशिक्षण को स्थिर करने के लिए लेयर नॉर्मलाइजेशन और अवशिष्ट कनेक्शन जैसी तकनीकों को नियोजित करते हैं। मॉडलों को Adam जैसे SGD वेरिएंट का उपयोग करके प्रशिक्षित किया जाता है, जिसमें लर्निंग रेट शेड्यूल और ग्रेडिएंट क्लिपिंग शामिल हैं। अनुमान के लिए, टॉप-के सैंपलिंग और टॉप-पी सैंपलिंग आमतौर पर उपयोग किए जाते हैं, साथ ही तापमान स्केलिंग भी। Llama 3 में देखे गए स्केलिंग कानूनों ने इष्टतम प्रशिक्षण डेटा आकारों पर अनुसंधान को सूचित किया है, जो गहन शिक्षण और तंत्रिका नेटवर्क की व्यापक समझ में योगदान देता है।

भविष्य की दिशाएं

2026 में Muse Spark की शुरुआत के साथ, Meta Superintelligence Labs का लक्ष्य AI क्षमताओं की सीमाओं को आगे बढ़ाना है, संभावित रूप से मशीन लर्निंग और जनरेटिव AI में प्रगति को शामिल करना। Llama से Muse Spark में संक्रमण अधिक शक्तिशाली और कुशल मॉडलों की ओर एक रणनीतिक बदलाव का सुझाव देता है, जो संभवतः Llama के विकास से सीखे गए पाठों पर निर्माण करता है। जैसे-जैसे क्षेत्र विकसित होता है, Meta के योगदान ओपन-वेट AI मॉडलों के परिदृश्य को आकार देते रहते हैं, नवाचार को सुरक्षा और पहुंच के विचारों के साथ संतुलित करते हैं।