मेटा लामा लीक से तात्पर्य LLaMA (लार्ज लैंग्वेज मॉडल मेटा एआई) के मॉडल वेट्स के अनधिकृत वितरण से है, जो मेटा एआई द्वारा विकसित बड़े भाषा मॉडल का एक परिवार है। 3 मार्च, 2023 को, वेट्स वाले एक टोरेंट को 4chan पर अपलोड और साझा किया गया, जिससे मेटा की प्रारंभिक केस-दर-केस पहुंच नीति के बावजूद मॉडल सार्वजनिक रूप से सुलभ हो गया। इस लीक का ओपन-सोर्स एआई समुदाय के लिए महत्वपूर्ण प्रभाव पड़ा, जिससे व्यापक प्रयोग हुए और मेटा के बाद के निर्णय पर प्रभाव पड़ा कि वह लामा 2 को अधिक अनुमेय लाइसेंस के तहत जारी करे।
LLaMA की घोषणा 24 फरवरी, 2023 को 7 बिलियन से 65 बिलियन पैरामीटर तक की फाउंडेशन मॉडल की श्रृंखला के रूप में की गई थी। मेटा ने इसे एक शोध उपकरण के रूप में स्थापित किया, जो केवल शैक्षणिक शोधकर्ताओं और उद्योग प्रयोगशालाओं को पहुंच प्रदान करता था। लीक ने इन प्रतिबंधों को दरकिनार कर दिया, जिससे दुनिया भर के डेवलपर्स को उपभोक्ता हार्डवेयर पर मॉडल चलाने और फाइन-ट्यून करने की अनुमति मिली, जिससे नवाचार की लहर और शक्तिशाली एआई सिस्टम की पहुंच के बारे में बहस छिड़ गई।
पृष्ठभूमि
2020 के दशक की शुरुआत में, GPT-3 की रिलीज़ और नवंबर 2022 में ChatGPT के बाद के लॉन्च ने बड़े भाषा मॉडल की क्षमताओं को उजागर किया। शोधकर्ताओं ने मॉडलों को स्केल करने पर ध्यान केंद्रित किया, तर्क और अनुवाद जैसी उभरती क्षमताओं का अवलोकन किया। मेटा के मुख्य एआई वैज्ञानिक, यान लेकुन, ने एलएलएम के प्रभुत्व के बारे में संदेह व्यक्त किया, सुझाव दिया कि वे सामान्य बुद्धिमत्ता के बजाय लेखन सहायता के लिए सबसे उपयुक्त थे। इसके बावजूद, मेटा ने अपने स्वयं के एलएलएम शोध के साथ आगे बढ़ना जारी रखा, जिससे LLaMA का निर्माण हुआ।
प्रारंभिक रिलीज़ और पहुंच नीति
LLaMA का पहला संस्करण एक ब्लॉग पोस्ट और एक पेपर के माध्यम से पेश किया गया था जिसमें इसके प्रशिक्षण, वास्तुकला और प्रदर्शन का विवरण था। अनुमान कोड GPLv3 के तहत ओपन-सोर्स किया गया था, लेकिन वेट्स एक आवेदन प्रक्रिया के पीछे गेटेड थे। मेटा का लक्ष्य शैक्षणिक शोधकर्ताओं, सरकारी संस्थाओं और उद्योग प्रयोगशालाओं को केस-दर-केस आधार पर अनुमोदन के साथ पहुंच प्रदान करना था। मॉडल को सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षित किया गया था, और मेटा ने बताया कि 13B पैरामीटर संस्करण ने कई बेंचमार्क पर GPT-3 को पीछे छोड़ दिया, जबकि 65B मॉडल ने PaLM और Chinchilla जैसी अत्याधुनिक प्रणालियों को टक्कर दी।
लीक
3 मार्च, 2023 को, LLaMA के वेट्स वाला एक टोरेंट अपलोड किया गया, जिसका लिंक 4chan पर और बाद में एआई समुदायों में साझा किया गया। कुछ ही दिनों में, आधिकारिक लामा रिपॉजिटरी पर पुल रिक्वेस्ट ने मैग्नेट लिंक और मॉडल होस्ट करने वाले HuggingFace रिपॉजिटरी जोड़े। मेटा ने 6 मार्च को अनधिकृत वितरण का हवाला देते हुए HuggingFace के साथ टेकडाउन अनुरोध दायर करके जवाब दिया, और 20 मार्च को एक GitHub रिपॉजिटरी के खिलाफ DMCA अनुरोध किया। लीक पर व्यापक रूप से चर्चा हुई; कुछ ने दुर्भावनापूर्ण उपयोग का डर व्यक्त किया, जबकि अन्य ने एआई के लोकतंत्रीकरण का जश्न मनाया। टिप्पणीकारों ने इस घटना की तुलना स्टेबल डिफ्यूजन की रिलीज़ से की, जिसने समान रूप से जनरेटिव एआई विकास को तेज किया था।
ओपन-सोर्स एआई पर प्रभाव
लीक ने शोधकर्ताओं और शौकीनों को विभिन्न कार्यों के लिए LLaMA को फाइन-ट्यून करने में सक्षम बनाया, जिससे जनरेटिव एआई अनुप्रयोगों में तेजी से प्रगति हुई। छोटे मॉडल उपभोक्ता GPUs पर चल सकते थे, जिससे प्रवेश की बाधाएं कम हुईं। इस अवधि में कई फाइन-ट्यून किए गए वेरिएंट और उपकरणों का उदय हुआ, जिससे एक जीवंत पारिस्थितिकी तंत्र का निर्माण हुआ। लीक ने मेटा को अपनी वितरण रणनीति पर पुनर्विचार करने के लिए भी दबाव डाला, क्योंकि गुप्त बात पहले ही फैल चुकी थी।
लामा 2 और व्यावसायीकरण
18 जुलाई, 2023 को, मेटा ने माइक्रोसॉफ्ट के साथ साझेदारी में लामा 2 की घोषणा की, जिसमें 7B, 13B और 70B पैरामीटर मॉडल जारी किए गए। मूल के विपरीत, लामा 2 में फाउंडेशन और चैट-ट्यून दोनों संस्करण शामिल थे, और वेट्स एक कस्टम लाइसेंस के तहत व्यावसायिक उपयोग के लिए उपलब्ध कराए गए थे। हालांकि, इस लाइसेंस ने स्वीकार्य उपयोग प्रतिबंध लगाए, जिसके कारण ओपन सोर्स इनिशिएटिव ने "ओपन सोर्स" शब्द के मेटा के उपयोग पर विवाद किया। लामा 2 को अपने पूर्ववर्ती की तुलना में 40% अधिक डेटा पर प्रशिक्षित किया गया था, और इसकी रिलीज़ ने व्यापक पहुंच की दिशा में बदलाव को चिह्नित किया।
कोड लामा, प्रोग्रामिंग के लिए एक विशेष संस्करण, 24 अगस्त, 2023 को 7B, 13B और 34B आकारों में जारी किया गया था, इसके बाद 29 जनवरी, 2024 को एक 70B संस्करण आया। इन मॉडलों को कोड डेटासेट पर फाइन-ट्यून किया गया था और कोडिंग कार्यों में बेहतर प्रदर्शन प्रदर्शित किया।
लामा 3 और उससे आगे
18 अप्रैल, 2024 को, मेटा ने लामा 3 को 8B और 70B पैरामीटर आकारों में जारी किया, जो लगभग 15 ट्रिलियन टोकन पर प्रशिक्षित थे। मॉडलों ने मजबूत प्रदर्शन दिखाया, कई बेंचमार्क पर जेमिनी प्रो 1.5 और क्लाउड 3 सोनेट जैसे प्रतिस्पर्धियों को पीछे छोड़ दिया। उल्लेखनीय रूप से, लामा 3 ने प्रदर्शित किया कि प्रदर्शन में सुधार जारी रहा, भले ही प्रशिक्षण डेटा चिनचिला-इष्टतम मात्रा से अधिक हो, एक खोज जिसने स्केलिंग प्रथाओं को प्रभावित किया। मार्क जुकरबर्ग ने नोट किया कि 8B मॉडल लगभग सबसे बड़े लामा 2 से मेल खाता था, और 70B मॉडल प्रशिक्षण के अंत में भी सीख रहा था।
लामा 3.1 ने 23 जुलाई, 2024 को अनुसरण किया, जिसमें एक 405B पैरामीटर मॉडल और विस्तारित संदर्भ विंडो पेश की गई। मेटा ने मेटा एआई भी लॉन्च किया, जो लामा पर निर्मित एक सहायक है, जो फेसबुक और व्हाट्सएप में एकीकृत है। नवीनतम संस्करण, लामा 4, अप्रैल 2025 में आया, लेकिन अप्रैल 2026 में, मेटा सुपरइंटेलिजेंस लैब्स ने अपने उत्तराधिकारी के रूप में म्यूज़ स्पार्क जारी किया, जो एक नई दिशा का संकेत देता है।
विरासत और विवाद
लीक एआई इतिहास में एक महत्वपूर्ण क्षण बना हुआ है, जो कॉर्पोरेट नियंत्रण और खुले उपयोग के बीच तनाव को उजागर करता है। इसने ओपन-सोर्स आंदोलन को तेज किया, जिससे स्थानीय एलएलएम और ओलामा और एलएम स्टूडियो जैसे उपकरणों का प्रसार हुआ। हालांकि, इसने दुरुपयोग के बारे में भी चिंताएं उठाईं, क्योंकि वेट्स का उपयोग स्पैम या गलत सूचना के लिए किया जा सकता था। मेटा के बाद के रिलीज़ों ने खुलेपन और सुरक्षा के बीच संतुलन बनाने का प्रयास किया, लेकिन एआई में "ओपन सोर्स" क्या है इसकी बहस जारी है।
यह भी देखें
संदर्भ
यह लेख सार्वजनिक रूप से उपलब्ध जानकारी और लीक और उसके बाद के रिलीज़ के समय की रिपोर्टों पर आधारित है।