BigScience एक खुला शोध सहयोग है जिसने BLOOM विकसित किया, जो 2022 में जारी एक बड़ा भाषा मॉडल है। इस पहल ने विभिन्न संस्थानों के सैकड़ों शोधकर्ताओं को एक सार्वजनिक रूप से सुलभ मॉडल बनाने के लिए एक साथ लाया, जो मालिकाना प्रयासों के विपरीत था। इसका लक्ष्य खुलेपन, प्रतिलिपि प्रस्तुत करने की क्षमता और सामुदायिक भागीदारी के माध्यम से Artificial intelligence अनुसंधान को आगे बढ़ाना था।
यह परियोजना 2021 में शुरू की गई थी, जिसका समन्वय हगिंग फेस द्वारा किया गया था, और इसे फ्रांसीसी सरकार और विभिन्न शैक्षणिक भागीदारों सहित संगठनों से समर्थन मिला। BigScience का उद्देश्य कुछ बड़ी कंपनियों में एआई विकास की एकाग्रता के बारे में चिंताओं को दूर करना था, जो एक सहयोगी, पारदर्शी विकल्प बनाकर किया गया। परिणामी मॉडल, BLOOM, को बहुभाषी डेटासेट पर प्रशिक्षित किया गया था और इसे एक खुले लाइसेंस के तहत उपलब्ध कराया गया था।
उत्पत्ति और लक्ष्य
BigScience एआई समुदाय के भीतर बड़े भाषा मॉडल के अधिक समावेशी और नैतिक विकास की आवश्यकता के बारे में चर्चाओं से उभरा। यह सहयोग औपचारिक रूप से मई 2021 में घोषित किया गया था, जिसका उद्देश्य विशेषज्ञता और कम्प्यूटेशनल संसाधनों को एकत्र करना था। प्रमुख उद्देश्यों में एक अत्याधुनिक मॉडल का उत्पादन, पूरी प्रक्रिया का दस्तावेजीकरण, और जिम्मेदार एआई अनुसंधान के लिए सर्वोत्तम प्रथाओं की स्थापना शामिल थी।
यह पहल अपने पैमाने और विविधता के लिए उल्लेखनीय थी, जिसमें 70 से अधिक देशों के 1,000 से अधिक योगदानकर्ता शामिल थे। प्रतिभागियों में शिक्षा जगत, उद्योग और नागरिक समाज के शोधकर्ता शामिल थे, जो दृष्टिकोणों की एक व्यापक श्रृंखला को दर्शाता था। BigScience ने यह प्रदर्शित करने की मांग की कि सहयोगी, खुला शोध अच्छी तरह से वित्त पोषित कॉर्पोरेट प्रयोगशालाओं की उपलब्धियों का मुकाबला कर सकता है।
BLOOM मॉडल
BLOOM (BigScience Large Open-science Open-access Multilingual) एक Transformer (architecture)-आधारित तंत्रिका नेटवर्क है जिसमें 176 बिलियन पैरामीटर हैं। इसे ROOTS नामक डेटासेट पर प्रशिक्षित किया गया था, जिसमें 46 प्राकृतिक भाषाओं और 13 प्रोग्रामिंग भाषाओं में 1.6 टेराबाइट से अधिक पाठ शामिल थे। प्रशिक्षण के लिए फ्रांस में जीन ज़े सुपरकंप्यूटर का उपयोग किया गया, जो फ्रांसीसी सरकार से अनुदान के माध्यम से प्रदान किया गया था।
BLOOM को कई भाषाओं, जिनमें कम-संसाधन वाली भाषाएँ शामिल हैं, में पाठ निर्माण और समझ का समर्थन करने के लिए डिज़ाइन किया गया था। इसकी वास्तुकला में Multi-Head Attention और अन्य मानक ट्रांसफॉर्मर घटक शामिल हैं, लेकिन दक्षता और स्थिरता के लिए संशोधनों के साथ। मॉडल जुलाई 2022 में जिम्मेदार एआई लाइसेंस के तहत जारी किया गया था, जिसमें हानिकारक अनुप्रयोगों को रोकने के लिए उपयोग प्रतिबंध शामिल हैं।
प्रशिक्षण डेटा और पद्धति
ROOTS डेटासेट को एक सहभागी प्रक्रिया के माध्यम से इकट्ठा किया गया था, जिसमें स्वयंसेवकों ने वेब क्रॉल, शैक्षणिक पेपर और अन्य स्रोतों को क्यूरेट और फ़िल्टर किया। डेटा गुणवत्ता और उत्पत्ति पर जोर दिया गया, जिसमें संग्रह और प्रीप्रोसेसिंग चरणों का विस्तृत दस्तावेजीकरण किया गया। यह पारदर्शिता कई मालिकाना मॉडलों से एक विचलन थी, जो अक्सर प्रशिक्षण डेटा को गोपनीय रखते हैं।
BLOOM को प्रशिक्षित करने के लिए महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता थी, जिसमें कई महीनों तक हजारों GPU का उपयोग शामिल था। सहयोग ने स्थिर प्रशिक्षण सुनिश्चित करने के लिए Gradient Clipping और Layer Normalization जैसी तकनीकों का उपयोग किया। परियोजना ने विस्तृत लॉग और विश्लेषण भी प्रकाशित किए, जिससे दूसरों को कार्य को दोहराने या उस पर निर्माण करने में सक्षम बनाया गया।
शासन और नैतिकता
BigScience ने एक शासन संरचना स्थापित की जिसमें नैतिकता, कानूनी मुद्दों और सामुदायिक जुड़ाव पर कार्य समूह शामिल थे। इन समूहों ने जिम्मेदार डेटा संग्रह, मॉडल तैनाती और संभावित दुरुपयोग के लिए दिशानिर्देश विकसित किए। सहयोग ने नैतिक समीक्षाएँ भी कीं और प्रभावित समुदायों से इनपुट मांगा।
एक उल्लेखनीय परिणाम जिम्मेदार एआई लाइसेंस का निर्माण था, जो निगरानी या भेदभाव जैसे उच्च-जोखिम वाले क्षेत्रों में BLOOM के उपयोग को प्रतिबंधित करता है। यह लाइसेंस खुलेपन को जवाबदेही के साथ संतुलित करने के लिए डिज़ाइन किया गया था, जो उस समय एक नया दृष्टिकोण था। परियोजना ने क्षमताओं, सीमाओं और इच्छित उपयोगों का विवरण देने वाला एक मॉडल कार्ड भी प्रकाशित किया।
प्रभाव और स्वागत
BLOOM को इसकी पहुंच और बहुभाषी क्षमताओं के लिए व्यापक रूप से सराहा गया, विशेष रूप से उन भाषाओं के लिए जिन्हें अक्सर वाणिज्यिक मॉडलों द्वारा अनदेखा किया जाता है। इसने खुले शोध के लिए एक मानक प्रदान किया, यह दिखाते हुए कि सहयोगी प्रयास प्रतिस्पर्धी परिणाम उत्पन्न कर सकते हैं। परियोजना ने बाद की पहलों को भी प्रभावित किया, जैसे अन्य खुले मॉडलों का निर्माण और डेटा शासन पर बढ़ता ध्यान।
आलोचकों ने नोट किया कि कुछ कार्यों पर BLOOM का प्रदर्शन कुछ मालिकाना मॉडलों से पीछे था, और इसका आकार छोटे संगठनों के लिए तैनाती को चुनौतीपूर्ण बना सकता है। फिर भी, BLOOM की रिलीज़ ने ओपन-सोर्स एआई की ओर एक व्यापक आंदोलन में योगदान दिया, जिसमें कई बाद के मॉडलों ने इसके दृष्टिकोण से प्रेरणा ली।
विरासत और भविष्य की दिशाएँ
BigScience ने BLOOM की रिलीज़ के साथ अपना मुख्य चरण समाप्त किया, लेकिन इसकी विरासत चल रहे खुले शोध प्रयासों में बनी हुई है। सहयोग ने विविध भागीदारी और पारदर्शी पद्धतियों के मूल्य को प्रदर्शित किया। इसने एआई विकास में नैतिक विचारों के महत्व को भी उजागर किया, जिससे नीति चर्चाओं और उद्योग प्रथाओं को प्रभावित किया गया।
2025 तक, BigScience मॉडल और डेटासेट निर्दिष्ट लाइसेंस के तहत अनुसंधान और वाणिज्यिक उपयोग के लिए उपलब्ध हैं। परियोजना के दस्तावेज़ीकरण और कोड बड़े पैमाने पर मॉडल प्रशिक्षण का अध्ययन करने वालों के लिए संसाधन के रूप में काम करते रहते हैं। भविष्य के खुले सहयोग एआई में उभरती चुनौतियों का समाधान करने के लिए BigScience के ढांचे पर निर्माण कर सकते हैं।
यह भी देखें
संदर्भ
यह लेख BigScience परियोजना और इसके आउटपुट के बारे में सार्वजनिक रूप से उपलब्ध जानकारी पर आधारित है।