Llama 2 बड़े भाषा मॉडलों (LLM) का एक परिवार है, जिसे मेटा एआई ने माइक्रोसॉफ्ट के साथ साझेदारी में 18 जुलाई 2023 को जारी किया था। Llama के पहले संस्करण के विपरीत, जो गैर-व्यावसायिक लाइसेंस के तहत केवल शैक्षणिक शोधकर्ताओं तक सीमित था, Llama 2 को मॉडल वेट और एक लाइसेंस के साथ जनता के लिए उपलब्ध कराया गया, जो कई व्यावसायिक उपयोगों की अनुमति देता था। इस रिलीज़ में 7, 13, और 70 बिलियन पैरामीटर आकारों में बेस मॉडल और इंस्ट्रक्शन-ट्यून किए गए चैट संस्करण दोनों शामिल थे।
Llama 2 का लॉन्च जनरेटिव एआई के क्षेत्र में एक महत्वपूर्ण घटना थी, क्योंकि इसने GPT-3 और ChatGPT जैसे मालिकाना मॉडलों के लिए एक प्रतिस्पर्धी ओपन-वेट विकल्प प्रदान किया। इसने एआई में "ओपन सोर्स" के अर्थ के बारे में भी बहस छेड़ दी, क्योंकि मेटा के लाइसेंस में उपयोग प्रतिबंध शामिल थे, जिन्हें कुछ लोगों ने ओपन सोर्स परिभाषा से विचलन माना। इस रिलीज़ ने ओपन-वेट मॉडलिंग में बाद के विकासों को प्रभावित किया, जिसमें मेटा का अपना Llama 3 और मिस्ट्रल एआई और AI21 लैब्स जैसी कंपनियों के अन्य मॉडल शामिल हैं।
पृष्ठभूमि
Llama 2 का विकास बड़े भाषा मॉडलों में तेजी से प्रगति की पृष्ठभूमि में हुआ। 2020 में GPT-3 की रिलीज़ के बाद, शोधकर्ताओं ने पाया कि मॉडलों को बड़े आकार में स्केल करने से अक्सर क्षमताओं में नाटकीय सुधार होते हैं, जैसे तर्क और कोड निर्माण। नवंबर 2022 में ChatGPT के लॉन्च ने LLM को व्यापक जनता तक पहुँचाया और इन मॉडलों को विकसित करने और सुधारने के लिए उद्योग-व्यापी दौड़ शुरू कर दी।
मेटा की प्रारंभिक प्रतिक्रिया सतर्क थी। एक साक्षात्कार में, मुख्य एआई वैज्ञानिक यान लेकुन ने कहा कि LLM सामान्य-उद्देश्य तर्क इंजन के रूप में सेवा करने के बजाय लेखन में सहायता के लिए सबसे उपयुक्त थे। हालाँकि, ChatGPT की सफलता और मार्च 2023 में पहले Llama मॉडल के लीक ने मेटा को अपनी रणनीति का पुनर्मूल्यांकन करने के लिए प्रेरित किया। Llama 2 को खुले तौर पर जारी करके, मेटा का लक्ष्य प्रतिस्पर्धा करना और साथ ही बाहरी डेवलपर्स और शोधकर्ताओं के पारिस्थितिकी तंत्र को बढ़ावा देना था।
रिलीज़ घोषणा
मेटा ने 18 जुलाई 2023 को एक ब्लॉग पोस्ट और "Llama 2: ओपन फाउंडेशन और फाइन-ट्यून्ड चैट मॉडल" शीर्षक वाले एक पेपर में Llama 2 की घोषणा की। रिलीज़ के साथ माइक्रोसॉफ्ट के साथ एक साझेदारी भी थी, जिसने Llama 2 को अपने Azure क्लाउड प्लेटफ़ॉर्म और माइक्रोसॉफ्ट के विंडोज ऑपरेटिंग सिस्टम पर उपलब्ध कराया। मेटा ने एक जिम्मेदार उपयोग गाइड और एक सामुदायिक लाइसेंस भी प्रदान किया जो व्यावसायिक उपयोग की अनुमति देता था, जिसमें अन्य बड़े भाषा मॉडलों को बेहतर बनाने के लिए मॉडल का उपयोग न करने जैसी शर्तें शामिल थीं।
घोषणा में इस बात पर प्रकाश डाला गया कि Llama 2 को अपने पूर्ववर्ती Llama 1 की तुलना में 40% अधिक डेटा पर प्रशिक्षित किया गया था, और चैट संस्करणों को मानव फीडबैक से सुदृढीकरण सीखने (RLHF) का उपयोग करके फाइन-ट्यून किया गया था, जो ChatGPT के लिए उपयोग की जाने वाली तकनीक के समान है। मेटा ने बताया कि 70B चैट मॉडल ने कुछ बेंचमार्क पर ChatGPT से बेहतर प्रदर्शन किया, हालाँकि इन दावों पर बाद में बहस हुई।
मॉडल आर्किटेक्चर और प्रशिक्षण
Llama 2 Llama 1 के समान ट्रांसफॉर्मर-आधारित आर्किटेक्चर को बरकरार रखता है, लेकिन प्रशिक्षण में समायोजन के साथ। मॉडल समान टोकनाइज़र और पैरामीटर गणना का उपयोग करते हैं, लेकिन Llama 1 के लिए 1.4 ट्रिलियन की तुलना में सार्वजनिक रूप से उपलब्ध वेब डेटा के 2 ट्रिलियन टोकन पर प्रशिक्षित किए गए थे। प्रशिक्षण डेटा में अंग्रेजी-भाषा ग्रंथों, कोड और अन्य स्रोतों का मिश्रण शामिल था।
तीन आकार - 7B, 13B, और 70B - विभिन्न हार्डवेयर और उपयोग मामलों को समायोजित करने के लिए चुने गए थे। 7B और 13B मॉडल उपभोक्ता GPU पर चल सकते हैं, जबकि 70B मॉडल को अधिक पर्याप्त कंप्यूटिंग संसाधनों की आवश्यकता होती है। मेटा ने स्थानीय अनुमान की सुविधा के लिए डिबग और क्वांटाइज़्ड संस्करण भी जारी किए।
चैट फाइन-ट्यून के लिए, मेटा ने एक बहु-चरणीय प्रक्रिया का उपयोग किया: मानव प्रदर्शनों पर पर्यवेक्षित फाइन-ट्यूनिंग, फिर प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन के साथ RLHF, उसके बाद रिजेक्शन सैंपलिंग। कंपनी ने चैट मॉडल में हानिकारक संकेतों को अस्वीकार करने के लिए सुरक्षा उपाय भी लागू किए, हालाँकि ये हमेशा प्रभावी नहीं थे।
ओपन लाइसेंस और विवाद
Llama 2 के लाइसेंस को Llama 1 से एक कदम आगे के रूप में सराहा गया, जो शैक्षणिक शोधकर्ताओं तक सीमित था। हालाँकि, लाइसेंस को ओपन सोर्स इनिशिएटिव (OSI) द्वारा अनुमोदित नहीं किया गया था, जो ओपन सोर्स की आधिकारिक परिभाषा बनाए रखता है। OSI ने तर्क दिया कि अन्य LLM को बेहतर बनाने के लिए Llama 2 का उपयोग करने पर प्रतिबंध और बड़ी कंपनियों के लिए उपयोगकर्ता सीमाएँ ओपन सोर्स के सिद्धांतों का उल्लंघन करती हैं, जिनके लिए कोई फ़ील्ड-ऑफ़-यूज़ प्रतिबंध नहीं होना चाहिए और व्यक्तियों या समूहों के खिलाफ कोई भेदभाव नहीं होना चाहिए।
मेटा ने Llama 2 का वर्णन करने के लिए "ओपन सोर्स" शब्द का उपयोग जारी रखा, जिससे कुछ डेवलपर्स और शोधकर्ताओं की आलोचना हुई, जिन्होंने महसूस किया कि यह शब्द कमजोर हो रहा है। यह बहस बाद की रिलीज़ के साथ तेज हो गई, क्योंकि मेटा के Llama 3 और अन्य मॉडलों ने समान लाइसेंस का उपयोग किया।
विवाद के बावजूद, Llama 2 के वेट की उपलब्धता ने अनुप्रयोगों की एक विस्तृत श्रृंखला की अनुमति दी। शोधकर्ता विशिष्ट डोमेन के लिए मॉडल को फाइन-ट्यून कर सकते थे, और स्टार्टअप स्वीकार्य उपयोग नीति का पालन करते हुए लाइसेंस शुल्क का भुगतान किए बिना व्यावसायिक उत्पाद बना सकते थे।
स्वागत और प्रभाव
Llama 2 के प्रति प्रारंभिक प्रतिक्रियाएँ मिश्रित थीं। कई लोगों ने कम प्रतिबंधों के साथ एक शक्तिशाली मॉडल जारी करने के लिए मेटा की प्रशंसा की, और इसकी तुलना छवि निर्माण में स्टेबल डिफ्यूज़न के प्रभाव से की। डेवलपर्स ने कोडिंग, चैट और अन्य उद्देश्यों के लिए जल्दी से फाइन-ट्यून बनाए। मॉडल को Hugging Face (हालाँकि प्रदान किया गया स्लग नहीं) और AWS और गूगल क्लाउड जैसे प्लेटफ़ॉर्म में एकीकृत किया गया था।
हालाँकि, कुछ आलोचकों ने कहा कि Llama 2 का प्रदर्शन, विशेष रूप से 70B मॉडल के लिए, हमेशा GPT-4 या PaLM 2 जैसे मालिकाना मॉडलों से मेल नहीं खाता। स्वतंत्र बेंचमार्क ने दिखाया कि Llama 2 70B कई कार्यों में GPT-3.5 के साथ प्रतिस्पर्धी था, लेकिन तर्क और तथ्यात्मकता में अत्याधुनिक से पीछे रह गया।
रिलीज़ का व्यापक एआई समुदाय पर भी प्रभाव पड़ा। इसने मिस्ट्रल एआई जैसी अन्य कंपनियों को ओपन-वेट मॉडल जारी करने के लिए प्रेरित किया, और एलएलएम तैनाती के विकेंद्रीकृत पारिस्थितिकी तंत्र के विकास में योगदान दिया। इसके अतिरिक्त, माइक्रोसॉफ्ट Azure पर Llama 2 की उपलब्धता ने उद्यमों के लिए ओपन-वेट एआई को अपनाना आसान बना दिया।
Llama 1 और उत्तराधिकारियों के साथ तुलना
Llama 2 कई प्रमुख तरीकों से Llama 1 से भिन्न था: यह व्यावसायिक उपयोग के लिए खुला था, इसमें चैट फाइन-ट्यून शामिल थे, और इसे अधिक डेटा पर प्रशिक्षित किया गया था। हालाँकि, आर्किटेक्चर काफी हद तक अपरिवर्तित था, और कुछ विशेषज्ञों ने कहा कि सुधार क्रांतिकारी के बजाय वृद्धिशील थे।
बाद की रिलीज़ ने Llama 2 पर आधारित थीं। अगस्त 2023 में, मेटा ने कोड Llama जारी किया, जो कोड निर्माण के लिए विशेषीकृत Llama 2 का एक फाइन-ट्यून था, जो 7B, 13B, 34B, और 70B आकारों में था। अप्रैल 2024 में, मेटा ने Llama 3 पेश किया, जिसमें 8B और 70B आकार थे, जिसने एक बड़े प्रशिक्षण डेटासेट का उपयोग किया और बेहतर प्रदर्शन दिखाया। Llama 3 के बाद अप्रैल 2025 में Llama 4 आया, जो मेटा के एआई सहायक का हिस्सा बन गया। 2026 तक, मेटा सुपरइंटेलिजेंस लैब्स ने उत्तराधिकारी के रूप में म्यूज़ स्पार्क जारी किया।
विरासत
Llama 2 की विरासत एआई में ओपन-वेट आंदोलन के लिए उत्प्रेरक के रूप में इसकी भूमिका में निहित है। इसने प्रदर्शित किया कि शक्तिशाली मॉडलों को सुरक्षा नियंत्रण बनाए रखते हुए व्यापक रूप से साझा किया जा सकता है, और यह बंद, केवल-एपीआई मॉडलों के लिए एक व्यावहारिक विकल्प प्रदान करता है। मॉडल ने एआई में ओपन सोर्स की परिभाषा के बारे में चर्चाओं को भी प्रभावित किया, एक बहस जो क्षेत्र के विकसित होने के साथ जारी है।
कई डेवलपर्स और शोधकर्ताओं के लिए, Llama 2 प्रयोग और नवाचार के लिए एक आधार रेखा बन गया। इसकी रिलीज़ ने बड़े भाषा मॉडलों के साथ काम करने की बाधा को कम किया, जिससे फाइन-ट्यून और अनुप्रयोगों की एक लहर सक्षम हुई जो अन्यथा मौजूद नहीं हो सकती थी। यहाँ तक कि जैसे-जैसे नए मॉडल उभरे, Llama 2 एआई विकास में खुलेपन, क्षमता और सुरक्षा के बीच व्यापार-नापसंद को समझने के लिए एक संदर्भ बिंदु बना रहा।