LLaMA (Large Language Model Meta AI) परिवार बड़े भाषा मॉडल का एक समूह है, जिसे मेटा AI द्वारा विकसित किया गया है, और पहली बार फरवरी 2023 में जारी किया गया था। मॉडलों का आकार 1 बिलियन से लेकर 2 ट्रिलियन से अधिक पैरामीटर तक होता है, और इन्हें विभिन्न संस्करणों में जारी किया गया है, जिनमें Llama 2, Llama 3, और Llama 4 शामिल हैं। शुरू में यह एक फाउंडेशन मॉडल था, बाद के संस्करणों में निर्देश-फाइन-ट्यून किए गए वेरिएंट शामिल किए गए, और मॉडलों को ऐसे लाइसेंसों के तहत उपलब्ध कराया गया है जो कुछ व्यावसायिक उपयोग की अनुमति देते हैं, हालांकि यह पूरी तरह से ओपन सोर्स नहीं है।
LLaMA की रिलीज़ ने जनरेटिव AI के लोकतंत्रीकरण में एक महत्वपूर्ण कदम उठाया, क्योंकि इसने OpenAI के GPT श्रृंखला जैसे मालिकाना मॉडलों का एक शक्तिशाली विकल्प प्रदान किया। इसका खुला वितरण, विशेष रूप से पहले संस्करण के अनधिकृत लीक के बाद, AI समुदाय में अनुसंधान और विकास की एक लहर को प्रेरित किया।
पृष्ठभूमि
GPT-3 जैसे मॉडलों की रिलीज़ के बाद, AI अनुसंधान समुदाय ने मॉडलों को बड़ा करने पर ध्यान केंद्रित किया, जिससे उभरती क्षमताएँ सामने आईं। 2022 के अंत में ChatGPT के लॉन्च ने बड़े भाषा मॉडलों में रुचि को तीव्र कर दिया। मेटा के मुख्य AI वैज्ञानिक, Yann LeCun ने कहा कि बड़े भाषा मॉडल लेखन कार्यों में सहायता के लिए विशेष रूप से उपयोगी हैं, और LLaMA को ऐसे अनुप्रयोगों के लिए एक उपकरण के रूप में स्थापित किया।
प्रारंभिक रिलीज़ और लीक
LLaMA का पहला संस्करण 24 फरवरी 2023 को एक ब्लॉग पोस्ट और एक पेपर के माध्यम से घोषित किया गया था, जिसमें इसके प्रशिक्षण, वास्तुकला और प्रदर्शन का विवरण दिया गया था। अनुमान कोड को ओपन-सोर्स GPLv3 लाइसेंस के तहत जारी किया गया था, लेकिन मॉडल वेट्स तक पहुंच केवल शैक्षणिक शोधकर्ताओं और उद्योग प्रयोगशालाओं तक मामले-दर-मामले आधार पर सीमित थी। मेटा ने सार्वजनिक रूप से उपलब्ध डेटा पर 7B से 65B पैरामीटर तक के विभिन्न आकारों के मॉडल प्रशिक्षित किए, जिसका उद्देश्य उन्हें विभिन्न हार्डवेयर पर सुलभ बनाना था।
3 मार्च 2023 को, LLaMA के वेट्स वाला एक टोरेंट 4chan पर अपलोड किया गया, और लिंक ऑनलाइन AI समुदायों में फैल गया। इस अनधिकृत लीक ने व्यापक उपलब्धता को जन्म दिया, जिसमें मेटा ने HuggingFace रिपॉजिटरी और एक GitHub स्क्रिप्ट के खिलाफ हटाने के अनुरोध दायर किए। प्रतिक्रियाएँ मिश्रित थीं: कुछ ने दुरुपयोग का डर व्यक्त किया, जबकि अन्य ने पहुंच का जश्न मनाया, इसे Stable Diffusion के खुले रिलीज़ से तुलना करते हुए, जिसने नवाचार को तेज किया।
Llama 2
18 जुलाई 2023 को, मेटा ने Microsoft के साथ साझेदारी में Llama 2 की घोषणा की, जिसमें 7, 13, और 70 बिलियन पैरामीटर वाले मॉडल जारी किए गए। वास्तुकला काफी हद तक Llama 1 से अपरिवर्तित थी, लेकिन प्रशिक्षण डेटा में 40% की वृद्धि की गई थी। Llama 2 में फाउंडेशन और चैट फाइन-ट्यून दोनों मॉडल शामिल थे, और वेट्स कई व्यावसायिक उपयोगों के लिए जारी किए गए थे, हालांकि लाइसेंस की स्वीकार्य उपयोग नीति का मतलब था कि यह पूरी तरह से ओपन सोर्स नहीं था। कोड के लिए फाइन-ट्यून किया गया Code Llama, अगस्त 2023 और जनवरी 2024 में जारी किया गया था।
Llama 3 और उससे आगे
18 अप्रैल 2024 को, मेटा ने Llama 3 को 8B और 70B पैरामीटर आकारों में जारी किया, जिसे लगभग 15 ट्रिलियन टोकन पर पूर्व-प्रशिक्षित किया गया था। मॉडलों ने मजबूत प्रदर्शन दिखाया, कई बेंचमार्क पर Gemini Pro 1.5 और Claude 3 Sonnet को पीछे छोड़ दिया। मेटा ने बहुभाषी और मल्टीमॉडल क्षमताओं की योजना भी घोषित की। Llama 3.1 23 जुलाई 2024 को जारी किया गया था, और Llama 4 अप्रैल 2025 में जारी किया गया था। अप्रैल 2026 में, मेटा सुपरइंटेलिजेंस लैब्स ने Llama के प्रतिस्थापन के रूप में Muse Spark पेश किया।
प्रभाव और स्वागत
LLaMA परिवार का AI पारिस्थितिकी तंत्र पर गहरा प्रभाव पड़ा है, जिससे शोधकर्ताओं और डेवलपर्स को एक शक्तिशाली खुले मॉडल पर निर्माण करने में सक्षम बनाया गया है। इसकी रिलीज़ ने ओपन-सोर्स लाइसेंसिंग और मॉडल वितरण की नैतिकता के बारे में बहस छेड़ दी है, साथ ही उपकरणों और अनुप्रयोगों के एक जीवंत समुदाय को भी बढ़ावा दिया है।