मार्च 2023 में, मेटा के पहले LLaMA बड़े भाषा मॉडल के मॉडल वेट ऑनलाइन लीक हो गए, जिससे वेट बिटटोरेंट और अन्य प्लेटफार्मों के माध्यम से सार्वजनिक रूप से सुलभ हो गए। यह लीक, जो मॉडल के शोधकर्ताओं को प्रारंभिक प्रतिबंधित रिलीज़ के तुरंत बाद हुआ, ने डेवलपर्स और शोधकर्ताओं के एक व्यापक समुदाय को मॉडल को डाउनलोड करने, चलाने और फाइन-ट्यून करने की अनुमति दी, जिससे ओपन-सोर्स AI विकास में काफी तेजी आई और पहुंच, सुरक्षा और AI वितरण के भविष्य के बारे में बहस छिड़ गई।
पृष्ठभूमि
GPT-3 जैसे बड़े भाषा मॉडलों की रिलीज़ के बाद, AI अनुसंधान का एक प्रमुख फोकस मॉडलों को बड़ा करना था, जिसमें कुछ उदाहरणों में आकस्मिक क्षमताओं में बड़ी वृद्धि देखी गई। ChatGPT की रिलीज़ और इसकी आश्चर्यजनक सफलता ने बड़े भाषा मॉडलों पर ध्यान आकर्षित किया, जिससे कई संगठनों को अपने स्वयं के AI कार्यक्रमों में तेजी लाने के लिए प्रेरित किया।
ChatGPT के प्रति अन्य प्रतिक्रियाओं की तुलना में, मेटा के मुख्य AI वैज्ञानिक यान लेकुन ने कहा कि बड़े भाषा मॉडल लेखन में सहायता के लिए सबसे अच्छे हैं। अपने LLaMA मॉडल को जारी करने का मेटा का दृष्टिकोण OpenAI से भिन्न था, जिसने GPT-3 और ChatGPT के वेट को मालिकाना रखा।
LLaMA की प्रारंभिक रिलीज़
LLaMA का पहला संस्करण (शैलीबद्ध रूप से LLaMA और कभी-कभी Llama 1 के रूप में संदर्भित) 24 फरवरी, 2023 को एक ब्लॉग पोस्ट और एक पेपर के माध्यम से घोषित किया गया था, जिसमें मॉडल के प्रशिक्षण, वास्तुकला और प्रदर्शन का वर्णन किया गया था। मॉडल को चलाने के लिए उपयोग किया जाने वाला अनुमान कोड ओपन-सोर्स GPLv3 लाइसेंस के तहत सार्वजनिक रूप से जारी किया गया था। मॉडल के वेट तक पहुंच एक आवेदन प्रक्रिया द्वारा प्रबंधित की गई थी, जिसमें पहुंच "शैक्षणिक शोधकर्ताओं; सरकार, नागरिक समाज और शिक्षा में संगठनों से जुड़े लोगों; और दुनिया भर की उद्योग अनुसंधान प्रयोगशालाओं को मामले-दर-मामले आधार पर" दी जानी थी।
LLaMA को केवल सार्वजनिक रूप से उपलब्ध जानकारी पर प्रशिक्षित किया गया था और विभिन्न मॉडल आकारों में प्रशिक्षित किया गया था, जिसका उद्देश्य इसे विभिन्न हार्डवेयर के लिए अधिक सुलभ बनाना था। मॉडल विशेष रूप से एक फाउंडेशन मॉडल था, हालांकि पेपर में मॉडल के निर्देश-फाइन-ट्यून किए गए संस्करणों के उदाहरण शामिल थे।
मेटा AI ने बताया कि अधिकांश NLP बेंचमार्क पर 13B पैरामीटर मॉडल का प्रदर्शन बहुत बड़े GPT-3 (175B पैरामीटर के साथ) से बेहतर था, और सबसे बड़ा 65B मॉडल PaLM और चिंचिला जैसे अत्याधुनिक मॉडलों के साथ प्रतिस्पर्धी था।
लीक
3 मार्च, 2023 को, LLaMA के वेट वाला एक टोरेंट अपलोड किया गया था, जिसका लिंक 4chan इमेजबोर्ड पर साझा किया गया था और बाद में ऑनलाइन AI समुदायों में फैल गया। उसी दिन, मुख्य LLaMA रिपॉजिटरी पर एक पुल रिक्वेस्ट खोली गई, जिसमें आधिकारिक दस्तावेज़ीकरण में मैग्नेट लिंक जोड़ने का अनुरोध किया गया था। 4 मार्च को, मॉडल वाले HuggingFace रिपॉजिटरी के लिंक जोड़ने के लिए एक पुल रिक्वेस्ट खोली गई।
6 मार्च को, मेटा ने पुल रिक्वेस्ट में लिंक किए गए HuggingFace रिपॉजिटरी को हटाने के लिए टेकडाउन अनुरोध दायर किए, इसे मॉडल का "अनधिकृत वितरण" बताया। HuggingFace ने अनुरोधों का अनुपालन किया। 20 मार्च को, मेटा ने एक स्क्रिप्ट वाले रिपॉजिटरी के खिलाफ कॉपीराइट उल्लंघन के लिए DMCA टेकडाउन अनुरोध दायर किया, जो एक मिरर से LLaMA डाउनलोड करती थी, और GitHub ने अगले दिन अनुपालन किया।
लीक पर प्रतिक्रियाएं
लीक पर प्रतिक्रियाएं भिन्न थीं। कुछ ने अनुमान लगाया कि मॉडल का उपयोग दुर्भावनापूर्ण उद्देश्यों के लिए किया जाएगा, जैसे अधिक परिष्कृत स्पैम। अन्य ने मॉडल की पहुंच का जश्न मनाया, साथ ही इस तथ्य का भी कि मॉडल के छोटे संस्करण अपेक्षाकृत सस्ते में चलाए जा सकते हैं, यह सुझाव देते हुए कि यह अतिरिक्त शोध विकास के विकास को बढ़ावा देगा।
कई टिप्पणीकारों, जैसे साइमन विलिसन, ने LLaMA की तुलना स्टेबल डिफ्यूजन से की, जो एक टेक्स्ट-टू-इमेज मॉडल है, जो इससे पहले के तुलनीय परिष्कृत मॉडलों के विपरीत, खुले तौर पर वितरित किया गया था, जिससे संबंधित उपकरणों, तकनीकों और सॉफ्टवेयर का तेजी से प्रसार हुआ। लीक ने प्रभावी रूप से LLaMA को एक ओपन-वेट मॉडल में बदल दिया, मेटा के नियंत्रित पहुंच को दरकिनार कर दिया और समुदाय-संचालित प्रयोग की एक लहर को सक्षम किया।
ओपन-सोर्स AI पर प्रभाव
लीक ने ओपन-सोर्स AI पारिस्थितिकी तंत्र के विकास को तेज कर दिया। हफ्तों के भीतर, डेवलपर्स ने विशिष्ट कार्यों के लिए LLaMA के फाइन-ट्यून किए गए संस्करण बनाए, जिनमें निर्देश-पालन और चैट शामिल हैं, जो उपभोक्ता हार्डवेयर पर मॉडल चलाने के लिए LoRA और QLoRA जैसी तकनीकों का उपयोग करते हैं। इससे उपकरणों और अनुप्रयोगों का प्रसार हुआ, जिसमें स्थानीय चैटबॉट और शोध परियोजनाएं शामिल हैं, जो प्रतिबंधित पहुंच के तहत संभव नहीं होता।
लीक ने मेटा की बाद की रिलीज़ रणनीति को भी प्रभावित किया। लीक किए गए मॉडल के आसपास की सफलता और समुदाय के उत्साह ने संभवतः मेटा के जुलाई 2023 में Llama 2 को अधिक अनुमेय लाइसेंस के साथ जारी करने के निर्णय में योगदान दिया, जो व्यावसायिक उपयोग की अनुमति देता था, हालांकि प्रतिबंधों के साथ। इसने प्रारंभिक मामले-दर-मामले शैक्षणिक पहुंच से व्यापक सार्वजनिक रिलीज़ की ओर बदलाव को चिह्नित किया, हालांकि लाइसेंस ने अभी भी कुछ उपयोगों को प्रतिबंधित किया, जिससे यह विवाद हुआ कि क्या यह ओपन सोर्स के रूप में योग्य है।
बाद के संस्करण
लीक के बाद, मेटा ने LLaMA परिवार का विकास जारी रखा। 18 जुलाई, 2023 को, माइक्रोसॉफ्ट के साथ साझेदारी में, मेटा ने Llama 2, Llama की अगली पीढ़ी की घोषणा की। मेटा ने Llama 2 को तीन मॉडल आकारों में प्रशिक्षित और जारी किया: 7, 13 और 70 बिलियन पैरामीटर। मॉडल वास्तुकला काफी हद तक Llama 1 के समान रही, लेकिन फाउंडेशन मॉडल को प्रशिक्षित करने के लिए 40% अधिक डेटा का उपयोग किया गया।
Llama 2 में फाउंडेशन मॉडल और चैट के लिए फाइन-ट्यून किए गए मॉडल शामिल थे। मूल संस्करण से एक और अंतर यह था कि सभी मॉडल वेट के साथ जारी किए गए थे और कई व्यावसायिक उपयोग मामलों के लिए उपयोग किए जा सकते थे। चूंकि Llama के लाइसेंस ने एक स्वीकार्य उपयोग नीति लागू की जो कुछ उद्देश्यों को प्रतिबंधित करती थी, यह सख्त अर्थों में ओपन सोर्स नहीं था। Llama का वर्णन करने के लिए मेटा द्वारा "ओपन-सोर्स" शब्द के उपयोग पर ओपन सोर्स इनिशिएटिव (जो ओपन सोर्स परिभाषा को बनाए रखता है) और अन्य लोगों द्वारा विवाद किया गया था।
कोड Llama, Llama 2 का कोड-विशिष्ट डेटासेट के साथ एक फाइन-ट्यून, 24 अगस्त, 2023 को 7B, 13B और 34B पैरामीटर के संस्करणों में जारी किया गया था, जिसमें 29 जनवरी, 2024 को 70B संस्करण जारी किया गया था। Llama 2 के फाउंडेशन मॉडल से शुरू करके, मेटा AI ने कोड डेटासेट के अतिरिक्त 500B टोकन प्रशिक्षित किए, इसके बाद लंबे-संदर्भ डेटा के 20B टोकन, कोड Llama फाउंडेशन मॉडल बनाए। इस फाउंडेशन मॉडल को निर्देश-फाइन-ट्यून बनाने के लिए 5B निर्देश-पालन टोकन पर आगे प्रशिक्षित किया गया था। पायथन कोड के लिए एक और फाउंडेशन मॉडल बनाया गया था, जिसे लंबे-संदर्भ डेटा से पहले केवल पायथन कोड के 100B टोकन पर प्रशिक्षित किया गया था।
18 अप्रैल, 2024 को, मेटा ने Llama 3 को दो आकारों में जारी किया: 8B और 70B पैरामीटर। मॉडलों को "सार्वजनिक रूप से उपलब्ध स्रोतों" से एकत्र किए गए लगभग 15 ट्रिलियन टोकन टेक्स्ट पर पूर्व-प्रशिक्षित किया गया था, जिसमें निर्देश मॉडल "सार्वजनिक रूप से उपलब्ध निर्देश डेटासेट, साथ ही 10M से अधिक मानव-एनोटेटेड उदाहरणों" पर फाइन-ट्यून किए गए थे। मेटा AI के परीक्षण ने अप्रैल 2024 में दिखाया कि Llama 3 70B अधिकांश बेंचमार्क पर Gemini Pro 1.5 और Claude 3 Sonnet को हरा रहा था। मेटा ने Llama 3 को बहुभाषी और मल्टीमॉडल बनाने, कोडिंग और तर्क में बेहतर बनाने और इसके संदर्भ विंडो को बढ़ाने की योजना भी घोषित की।
स्केलिंग कानूनों के संबंध में, Llama 3 मॉडलों ने अनुभवजन्य रूप से दिखाया कि जब एक मॉडल को "चिंचिला-इष्टतम" मात्रा से अधिक डेटा पर प्रशिक्षित किया जाता है, तो प्रदर्शन लॉग-रैखिक रूप से बढ़ता रहता है। उदाहरण के लिए, Llama 3 8B के लिए चिंचिला-इष्टतम डेटासेट 200 बिलियन टोकन है, लेकिन प्रदर्शन 15 ट्रिलियन टोकन के 75 गुना बड़े डेटासेट तक लॉग-रैखिक रूप से बढ़ता रहा।
Dwarkesh Patel के साथ एक साक्षात्कार के दौरान, मार्क जुकरबर्ग ने कहा कि Llama 3 का 8B संस्करण लगभग सबसे बड़े Llama 2 जितना शक्तिशाली था। पिछले मॉडलों की तुलना में, जुकरबर्ग ने कहा कि टीम आश्चर्यचकित थी कि 70B मॉडल 15T टोकन प्रशिक्षण के अंत में भी सीख रहा था। GPU शक्ति को कहीं और केंद्रित करने के लिए प्रशिक्षण समाप्त करने का निर्णय लिया गया।
Llama 3 की रिलीज़ के साथ, मेटा ने मेटा AI भी पेश किया, जो Llama पर निर्मित एक AI सहायक है। मेटा AI की एक समर्पित वेबसाइट है और यह Facebook और WhatsApp पर उपलब्ध है। नवीनतम संस्करण Llama 4 है, जो अप्रैल 2025 में जारी किया गया था। अप्रैल 2026 में, मेटा सुपरइंटेलिजेंस लैब्स ने विभिन्न मेटा सेवाओं पर चैटबॉट को शक्ति देने के लिए Llama के प्रतिस्थापन के रूप में Muse Spark जारी किया।
विरासत
2023 का LLaMA लीक व्यापक रूप से ओपन-सोर्स AI के इतिहास में एक महत्वपूर्ण क्षण माना जाता है। इसने सुलभ बड़े भाषा मॉडलों की मांग का प्रदर्शन किया और मेटा और अन्य संगठनों दोनों की रणनीतियों को प्रभावित किया। लीक ने शक्तिशाली AI मॉडलों के वितरण को नियंत्रित करने की चुनौतियों को भी उजागर किया, एक विषय जो AI सुरक्षा और शासन के आसपास नीति चर्चाओं को आकार देना जारी रखता है।
इस घटना ने व्यापक जनरेटिव AI उछाल में योगदान दिया, क्योंकि LLaMA वेट की उपलब्धता ने नवाचार की एक लहर को सक्षम किया जो अन्यथा विलंबित हो सकता था। इसने Llama 2 और Llama 3 जैसे बाद के मॉडलों की रिलीज़ के लिए एक मिसाल भी स्थापित की, जो दुनिया भर के शोधकर्ताओं और डेवलपर्स के लिए मौलिक उपकरण बन गए हैं।