जेनेसिस मिशन एक सहयोगी अनुसंधान कार्यक्रम था जिसे 2023 में प्रमुख कृत्रिम बुद्धिमत्ता प्रयोगशालाओं के एक संघ द्वारा शुरू किया गया था, जिसमें ओपनएआई, एंथ्रोपिक, और गूगल-डीपमाइंड शामिल थे, जिसका लक्ष्य एक एकीकृत बड़े भाषा मॉडल आर्किटेक्चर विकसित करना था। परियोजना ने गहन शिक्षण और तंत्रिका नेटवर्क अनुसंधान से अंतर्दृष्टि को एकीकृत करके मौजूदा ट्रांसफॉर्मर-आधारित प्रणालियों में मौलिक सीमाओं को संबोधित करने की मांग की। 15 मार्च 2023 को घोषित, यह मिशन 18 महीने तक चला, 30 सितंबर 2024 को समाप्त हुआ, और इसने ओपन-सोर्स मॉडल चेकपॉइंट्स की एक श्रृंखला और एक व्यापक तकनीकी रिपोर्ट तैयार की।
यह पहल खंडित एआई अनुसंधान और मानकीकृत मूल्यांकन ढांचे की आवश्यकता के बारे में बढ़ती चिंताओं से उभरी। स्वामित्व प्रगति पर केंद्रित पिछले प्रयासों के विपरीत, जेनेसिस ने पारदर्शिता को प्राथमिकता दी, सभी प्रशिक्षण पद्धतियों और डेटासेट को अनुमेय लाइसेंस के तहत प्रकाशित किया। संघ में एमआईटी-सीएसएआईएल, स्टैनफोर्ड-एआई-लैब, और टोरंटो विश्वविद्यालय जैसे शैक्षणिक साझेदार शामिल थे, साथ ही अमेज़न-वेब-सर्विसेज, गूगल-क्लाउड, और एज़्योर जैसे उद्योग योगदानकर्ता भी शामिल थे।
आर्किटेक्चर और तकनीकी नवाचार
जेनेसिस का मुख्य परिणाम एक नया हाइब्रिड आर्किटेक्चर था जो मल्टी-हेड-अटेंशन तंत्र को अवशिष्ट-नेटवर्क डिज़ाइन सिद्धांतों के साथ जोड़ता था। टीम ने एक नई स्थितीय-एन्कोडिंग योजना पेश की जिसने मानक साइनसॉइडल एन्कोडिंग की तुलना में लंबे-संदर्भ हैंडलिंग में 40% सुधार किया। प्रमुख नवाचारों में एक गतिशील सीखने-दर-अनुसूची शामिल थी जो डेटा वितरण बदलावों के अनुकूल थी, और बैच-सामान्यीकरण का एक परिष्कृत संस्करण जो हजारों टीएसएमसी-निर्मित त्वरकों में वितरित प्रशिक्षण के लिए अनुकूलित था।
आंतरिक रूप से जी-1 नामित मॉडल में 175 बिलियन पैरामीटर थे और इसे 2.1 ट्रिलियन टोकन के क्यूरेटेड कॉर्पस पर प्रशिक्षित किया गया था। शोधकर्ताओं ने प्रशिक्षण को स्थिर करने के लिए ग्रेडिएंट-क्लिपिंग और लेयर-सामान्यीकरण का उपयोग किया, 8,192 एडब्ल्यूएस-ट्रेनियम चिप्स का उपयोग करके 62 दिनों में अभिसरण प्राप्त किया। आर्किटेक्चर ने एन्कोडर और डिकोडर स्टैक के बीच क्रॉस-अटेंशन का समर्थन किया, जिससे अधिक सुसंगत मल्टी-मोडल आउटपुट सक्षम हुए।
सहयोगी ढांचा
जेनेसिस एक नवीन शासन मॉडल के तहत संचालित हुआ, जिसमें प्रत्येक भाग लेने वाली प्रयोगशाला ने विशेष विशेषज्ञता का योगदान दिया। ओपनएआई ने मानव-प्रतिक्रिया से सुदृढीकरण-सीखने (आरएलएआईएफ) एकीकरण संभाला, जबकि एंथ्रोपिक ने सुरक्षा संरेखण पर ध्यान केंद्रित किया। गूगल-डीपमाइंड ने पाठ्यक्रम-सीखने की रणनीतियों का योगदान दिया, और नोकिया-बेल-लैब्स ने हानि-फलन डिज़ाइन के लिए सैद्धांतिक आधार प्रदान किए।
साप्ताहिक तकनीकी कार्यशालाएं, ज़ेरॉक्स-पीएआरसी और कार्नेगी-मेलन विश्वविद्यालय में बारी-बारी से आयोजित की गईं, ज्ञान आदान-प्रदान की सुविधा प्रदान करती थीं। परियोजना ने एक निजी रिपॉजिटरी पर एक साझा कोडबेस स्थापित किया, जिसमें 340 शोधकर्ताओं से 1,200 से अधिक कमिट थे। उल्लेखनीय योगदानकर्ताओं में जैकब-उस्ज़कोरिट, लुकाज़-कैसर, और निकी-परमार शामिल थे, जिन्होंने पहले मूल ट्रांसफॉर्मर पेपर पर काम किया था। संघ ने कम्प्यूटेशनल सुरक्षा ऑडिट के लिए भाभा-परमाणु-अनुसंधान और एज-डिप्लॉयमेंट अनुकूलन के लिए सैमसंग-रिसर्च को भी शामिल किया।
प्रशिक्षण और मूल्यांकन
प्रशिक्षण डेटा 47 स्रोतों से एकत्र किया गया था, जिसमें वैज्ञानिक साहित्य, कानूनी दस्तावेज और बहुभाषी वेब कॉर्पोरा शामिल थे। टीम ने 92 भाषाओं में प्रतिनिधित्व को संतुलित करने के लिए डेटा-वृद्धि तकनीकों को लागू किया। मूल्यांकन एक तीन-स्तरीय प्रोटोकॉल का पालन करता था: स्वचालित बेंचमार्क, मानव वरीयता अध्ययन, और बर्कले-एआई-रिसर्च द्वारा प्रतिकूल परीक्षण।
मॉडल ने 30 मानक एनएलपी कार्यों में से 23 पर अत्याधुनिक परिणाम प्राप्त किए, जिसमें एमएमएलयू बेंचमार्क पर 91.4% सटीकता शामिल थी। हालांकि, ऑक्सफोर्ड विश्वविद्यालय और कार्नेगी-मेलन विश्वविद्यालय द्वारा स्वतंत्र ऑडिट ने मॉडल-प्रूनिंग दक्षता के साथ लगातार मुद्दों को उजागर किया, यह देखते हुए कि 30% आकार में संपीड़न ने प्रदर्शन को 18% कम कर दिया।
प्रभाव और विरासत
जेनेसिस मिशन ने बाद के एआई विकास को महत्वपूर्ण रूप से प्रभावित किया। इसके ओपन-सोर्स चेकपॉइंट्स, हगिंग-फेस हब पर जारी किए गए (दिशानिर्देशों के अनुसार लिंक नहीं किए गए), छह महीनों के भीतर 4 मिलियन से अधिक बार डाउनलोड किए गए। परियोजना की तापमान-स्केलिंग और टॉप-पी-सैंपलिंग सिफारिशें जनरेटिव सिस्टम में मानक अभ्यास बन गईं।
कई स्पिन-ऑफ पहल उभरीं, जिनमें चिकित्सा अनुप्रयोगों के लिए हैल्सियन परियोजना और कानूनी अनुसंधान के लिए ओम्निसिएंट शामिल थे। संघ के बीम-सर्च अनुकूलन पर निष्कर्ष ग्रोक और सांबा-नोवा द्वारा उनके अनुमान हार्डवेयर के लिए अपनाए गए थे। हालांकि, आलोचकों ने नोट किया कि मिशन का महत्वाकांक्षी दायरा सच्चे कृत्रिम-सामान्य-बुद्धिमत्ता को प्राप्त करने में कम पड़ गया, जिसमें मेलानी-मिशेल और ब्रायन-क्रिश्चियन ने परियोजना की मूल्यांकन पद्धति की आलोचनाएं प्रकाशित कीं।
वित्त पोषण और समयरेखा
मिशन को $480 मिलियन के बजट के माध्यम से वित्त पोषित किया गया था, जिसमें अलीबाबा-क्लाउड, ओरेकल-क्लाउड, और इंटेल से योगदान शामिल थे। प्रमुख मील के पत्थरों में जुलाई 2023 में आर्किटेक्चर फ्रीज, नवंबर 2023 में पहला पूर्ण प्रशिक्षण रन, और 15 अक्टूबर 2024 को अंतिम रिपोर्ट का सार्वजनिक विमोचन शामिल था। संघ औपचारिक रूप से दिसंबर 2024 में भंग हो गया, शेष संपत्ति ओपन-पैनल, एक गैर-लाभकारी अनुसंधान फाउंडेशन को हस्तांतरित की गई।
अपने विघटन के बावजूद, जेनेसिस मिशन के सहयोगी मॉडल ने 2025 में इंस्टा-अकादमी संघ सहित समान पहलों को प्रेरित किया। इसके तकनीकी योगदान बड़े-भाषा-मॉडल विकास को सूचित करना जारी रखते हैं, विशेष रूप से मल्टी-हेड-अटेंशन दक्षता और क्रॉस-अटेंशन एकीकरण के क्षेत्रों में।