ब्लूम (BLOOM)

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) एक खुला-उपयोग बड़ा-भाषा-मॉडल है जिसे 2022 में जारी किया गया था। इसे BigScience पहल द्वारा विकसित किया गया था, जो एक स्वयंसेवक-संचालित अनुसंधान प्रयास है जिसका उद्देश्य मालिकाना AI मॉडलों का एक पारदर्शी रूप से निर्मित विकल्प प्रदान करना था। 176 अरब मापदंडों के साथ, BLOOM एक ट्रांसफॉर्मर-आधारित ऑटोरेग्रेसिव मॉडल है जिसे 46 प्राकृतिक भाषाओं और 13 प्रोग्रामिंग भाषाओं में पाठ उत्पन्न करने के लिए डिज़ाइन किया गया है। मॉडल को परियोजना के "जिम्मेदार AI लाइसेंस" के तहत वितरित किया गया है।

विकास

BLOOM, BigScience पहल का मुख्य परिणाम है, जो हगिंग फेस द्वारा समन्वित और फ्रांसीसी सरकार द्वारा वित्तपोषित एक वर्ष-long अनुसंधान कार्यशाला है। इस परियोजना में शिक्षा जगत और निजी क्षेत्र के कई सौ स्वयंसेवक शोधकर्ता और इंजीनियर शामिल थे। मॉडल को मार्च से जुलाई 2022 के बीच फ्रांस के जीन ज़े सार्वजनिक सुपरकंप्यूटर पर प्रशिक्षित किया गया था, जिसे GENCI और IDRIS (CNRS) द्वारा प्रबंधित किया जाता है। GPT-3 जैसे पहले के मॉडलों के विपरीत, BLOOM को स्पष्ट रूप से बहुभाषी होने के लिए प्रशिक्षित किया गया था, जिसमें अंग्रेजी, फ्रेंच, स्पेनिश, चीनी, अरबी, हिंदी और कई अन्य सहित विविध भाषा परिवारों की भाषाएँ शामिल हैं।

BLOOM का स्रोत कोड Apache 2.0 लाइसेंस के तहत जारी किया गया है, जबकि मॉडल के मापदंड BigScience जिम्मेदार AI लाइसेंस (RAIL) के तहत जारी किए गए हैं। यह लाइसेंस खुली पहुँच और पुन: उपयोग अधिकार प्रदान करता है, लेकिन इसमें उपयोग प्रतिबंध शामिल हैं, जैसे हानिकारक अनुप्रयोगों में उपयोग पर रोक। BLOOM की खुली प्रकृति OpenAI और Google DeepMind जैसी कंपनियों के मालिकाना मॉडलों के विपरीत है, जो इसे AI में पारदर्शिता चाहने वाले शोधकर्ताओं और डेवलपर्स के लिए एक महत्वपूर्ण संसाधन बनाती है।

प्रशिक्षण डेटा और वास्तुकला

BLOOM का प्रशिक्षण कॉर्पस, जिसे ROOTS नाम दिया गया है, वेब-आधारित OSCAR कॉर्पस (ROOTS का 38%) के तत्कालीन नवीनतम संस्करण से निकाले गए डेटा को मैन्युअल रूप से चयनित और प्रलेखित भाषा डेटा स्रोतों की सूची से नए एकत्र किए गए डेटा के साथ जोड़ता है। कुल मिलाकर, मॉडल को लगभग 366 अरब टोकन (1.6 TB पाठ) पर प्रशिक्षित किया गया था। वास्तुकला ट्रांसफॉर्मर मॉडल पर आधारित है, विशेष रूप से एक ऑटोरेग्रेसिव डिकोडर-ओनली डिज़ाइन, जो GPT-3 के समान है, लेकिन बहुभाषी प्रदर्शन के लिए संवर्द्धन के साथ। प्रशिक्षण में ओपन-सोर्स लाइब्रेरी DeepSpeed और Megatron का उपयोग किया गया, जो हजारों GPUs में कुशल वितरित प्रशिक्षण को सक्षम बनाती हैं।

46 प्राकृतिक भाषाओं और 13 प्रोग्रामिंग भाषाओं को संभालने की BLOOM की क्षमता इसे अनुवाद, सारांशीकरण और कोड निर्माण जैसे कार्यों के लिए बहुमुखी बनाती है। इसका बहुभाषी प्रशिक्षण कई अंग्रेजी-केंद्रित मॉडलों से एक प्रमुख अंतर है, जो इसे विविध वैश्विक समुदायों की सेवा करने में सक्षम बनाता है।

वेरिएंट और अनुप्रयोग

BLOOM की रिलीज़ के बाद, BigScience ने xP3, पर्यवेक्षित शिक्षण के लिए एक बहुभाषी डेटासेट, और BLOOMZ, निर्देशों का पालन करने के लिए xP3 पर फाइन-ट्यून किया गया BLOOM का एक वेरिएंट पेश किया। BLOOMZ प्राकृतिक भाषा संकेतों के आधार पर कार्य करने की मॉडल की क्षमता में सुधार करता है, जिससे संवादात्मक AI और अन्य अनुप्रयोगों में इसकी उपयोगिता बढ़ जाती है।

BLOOM का उपयोग BLOOMChat और HuggingChat जैसे चैटबॉट में किया गया है, जो इसकी बहुभाषी क्षमताओं का लाभ उठाकर कई भाषाओं में प्रतिक्रियाएँ प्रदान करते हैं। इसकी खुली-उपयोग प्रकृति ने इसे मशीन-लर्निंग और कृत्रिम-बुद्धिमत्ता क्षेत्रों में शैक्षणिक अनुसंधान और प्रयोग के लिए एक लोकप्रिय विकल्प बना दिया है।

प्रभाव और महत्व

BLOOM AI के लोकतंत्रीकरण में एक मील का पत्थर है, जो एक उच्च-क्षमता वाला मॉडल प्रदान करता है जो अपने लाइसेंस के तहत अनुसंधान और वाणिज्यिक उपयोग के लिए स्वतंत्र रूप से उपलब्ध है। यह पूरी तरह से ओपन-सोर्स किए जाने वाले पहले बड़े पैमाने के बहुभाषी मॉडलों में से एक था, जिसने भविष्य की पहलों के लिए एक मिसाल कायम की। परियोजना का पारदर्शिता पर जोर - डेटा संग्रह से लेकर प्रशिक्षण प्रक्रियाओं तक - AI समुदाय के लिए एक मूल्यवान केस स्टडी प्रदान करता है।

OpenAI या Anthropic जैसे मालिकाना मॉडलों की तुलना में, BLOOM के खुले वजन शोधकर्ताओं को बिना किसी प्रतिबंध के मॉडल का निरीक्षण और फाइन-ट्यून करने की अनुमति देते हैं, जिससे कम-संसाधन भाषा प्रसंस्करण और AI सुरक्षा जैसे क्षेत्रों में नवाचार को बढ़ावा मिलता है। मॉडल के विकास ने कॉर्पोरेट-नेतृत्व वाले प्रयासों के विपरीत, सहयोगी, स्वयंसेवक-संचालित अनुसंधान की क्षमता पर भी प्रकाश डाला।

बाहरी लिंक

• हगिंगफेस पर BigScience परियोजना (huggingface.co/bigscience पर उपलब्ध)

संदर्भ

• हगिंगफेस पर BigScience परियोजना
• विकिपीडिया योगदानकर्ता। "BLOOM (भाषा मॉडल)।" विकिपीडिया, द फ्री इनसाइक्लोपीडिया।