कोलिन राफेल

कॉलिन राफेल एक कंप्यूटर वैज्ञानिक और शोधकर्ता हैं, जिन्हें कृत्रिम-बुद्धिमत्ता के क्षेत्र में योगदान के लिए जाना जाता है, विशेष रूप से प्रॉम्प्ट-इंजीनियरिंग और ज़ीरो-शॉट प्रॉम्प्टिंग के क्षेत्रों में। वे प्रीफिक्स-ट्यूनिंग पेपर के सह-लेखक के रूप में सबसे अधिक प्रसिद्ध हैं, जो बड़े-भाषा-मॉडल को डाउनस्ट्रीम कार्यों के लिए कुशलतापूर्वक अनुकूलित करने की एक तकनीक है। उनके कार्य ने पैरामीटर-कुशल फाइन-ट्यूनिंग और निर्देश-अनुसरण मॉडल में बाद के शोध को प्रभावित किया है।

राफेल का शोध न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ तंत्रिका-नेटवर्क को अधिक अनुकूलनीय बनाने पर केंद्रित है। ज़ीरो-शॉट प्रॉम्प्टिंग पर उनके शुरुआती कार्य ने प्रदर्शित किया कि बड़े पूर्व-प्रशिक्षित मॉडल बिना स्पष्ट प्रशिक्षण उदाहरणों के अनदेखे कार्य कर सकते हैं, एक खोज जो आधुनिक जनरेटिव-एआई प्रणालियों के लिए मौलिक बन गई। उन्होंने शैक्षणिक और औद्योगिक संस्थानों के शोधकर्ताओं के साथ सहयोग किया है, जो मशीन-लर्निंग के व्यापक क्षेत्र में योगदान देता है।

प्रारंभिक करियर और शिक्षा

राफेल ने कंप्यूटर विज्ञान में स्नातकोत्तर अध्ययन पूरा किया, जिसमें प्राकृतिक भाषा प्रसंस्करण और डीप-लर्निंग में विशेषज्ञता थी। अपने डॉक्टरेट अनुसंधान के दौरान, उन्होंने अनुक्रम-से-अनुक्रम मॉडल और ट्रांसफॉर्मर आर्किटेक्चर का पता लगाया, जिसने प्रॉम्प्ट-आधारित विधियों पर उनके बाद के कार्य की नींव रखी। उनके शैक्षणिक सलाहकारों और सहयोगियों में टोरंटो-विश्वविद्यालय और स्टैनफोर्ड-एआई-लैब से संबद्ध शोधकर्ता शामिल थे, हालांकि उनकी डिग्री की विशिष्ट तिथियां सार्वजनिक रूप से दस्तावेजित नहीं हैं।

पीएचडी पूरी करने के बाद, राफेल एक प्रमुख प्रौद्योगिकी अनुसंधान प्रयोगशाला में शामिल हो गए, जहां उन्होंने जांच शुरू की कि पूर्व-प्रशिक्षित भाषा मॉडल को पाठ्य निर्देशों का उपयोग करके कैसे नियंत्रित किया जा सकता है। यह अवधि प्रारंभिक ट्रांसफॉर्मर-आधारित मॉडलों की रिलीज़ के साथ मेल खाती थी, और ज़ीरो-शॉट सामान्यीकरण पर राफेल के प्रयोग उनकी क्षमताओं का व्यवस्थित मूल्यांकन करने वाले पहले प्रयोगों में से थे।

प्रीफिक्स-ट्यूनिंग और प्रमुख योगदान

राफेल ने "प्रीफिक्स-ट्यूनिंग: ऑप्टिमाइज़िंग कंटीन्यूअस प्रॉम्प्ट्स फॉर जनरेशन" नामक पेपर का सह-लेखन किया, जो 2021 की एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स (ACL) की वार्षिक बैठक में प्रस्तुत किया गया था। इस कार्य ने एक जमे हुए बड़े-भाषा-मॉडल के इनपुट में प्रशिक्षित सतत वैक्टरों का एक छोटा सेट - जिसे प्रीफिक्स कहा जाता है - जोड़ने की एक विधि पेश की, जिससे मॉडल के पूर्ण पैरामीटर को अपडेट किए बिना कार्य अनुकूलन की अनुमति मिलती है। इस दृष्टिकोण ने पूर्ण फाइन-ट्यूनिंग की तुलना में मेमोरी और स्टोरेज आवश्यकताओं को काफी कम कर दिया, जिससे यह संसाधन-सीमित सेटिंग्स के लिए व्यावहारिक बन गया।

पेपर ने बताया कि प्रीफिक्स-ट्यूनिंग ने टेबल-से-टेक्स्ट जनरेशन और सारांशीकरण कार्यों में पूर्ण फाइन-ट्यूनिंग के बराबर प्रदर्शन हासिल किया, जबकि मॉडल के 0.1% से कम पैरामीटर का उपयोग किया। इसने कम-डेटा परिदृश्यों में भी लाभ प्रदर्शित किए, जहां पारंपरिक फाइन-ट्यूनिंग अक्सर ओवरफिट होती है। गूगल स्कॉलर के अनुसार, इस विधि को 1,500 से अधिक बार उद्धृत किया गया है, और इसने प्रॉम्प्ट ट्यूनिंग और एडेप्टर जैसी बाद की तकनीकों को प्रेरित किया है।

राफेल का ज़ीरो-शॉट प्रॉम्प्टिंग अनुसंधान, जो 2020 के एक कार्यशाला पेपर में प्रकाशित हुआ था, ने दिखाया कि बड़े पूर्व-प्रशिक्षित मॉडल प्राकृतिक भाषा निर्देश दिए जाने पर भावना को वर्गीकृत कर सकते हैं और प्रश्नों का उत्तर दे सकते हैं, बिना किसी लेबल वाले उदाहरण के। यह कार्य निर्देश ट्यूनिंग के व्यापक रूप से अपनाने से पहले था और पैमाने की उभरती क्षमताओं को उजागर करता था।

व्यावसायिक संबद्धताएं और सहयोग

राफेल ने शैक्षणिक और औद्योगिक दोनों संस्थानों में शोध पदों पर कार्य किया है। वे 2019 से 2022 तक नोकिया-बेल-लैब्स में एक अनुसंधान वैज्ञानिक थे, जहां उन्होंने उत्पादन प्रणालियों के लिए कुशल अनुमान विधियों पर काम किया। इस दौरान, उन्होंने एज डिवाइसों पर ट्रांसफॉर्मर मॉडल तैनात करने पर इंजीनियरों के साथ सहयोग किया, जो दूरसंचार में व्यावहारिक अनुप्रयोगों में योगदान देता है।

2022 में, राफेल गूगल-डीपमाइंड में वरिष्ठ अनुसंधान वैज्ञानिक के रूप में शामिल हुए, जो मल्टीमोडल मॉडल के लिए पैरामीटर-कुशल अनुकूलन पर केंद्रित थे। उनकी टीम ने दृष्टि-भाषा कार्यों को बेहतर बनाने के लिए प्रीफिक्स-ट्यूनिंग को क्रॉस-अटेंशन तंत्रों के साथ संयोजित करने की खोज की। उन्होंने बर्कले-एआई-रिसर्च में एक विज़िटिंग शोधकर्ता के रूप में भी सेवा की, जहां उन्होंने प्रॉम्प्ट ऑप्टिमाइज़ेशन रणनीतियों पर स्नातक छात्रों को सलाह दी।

राफेल NeurIPS, ICML और ACL सहित प्रमुख सम्मेलनों के लिए एक सक्रिय समीक्षक रहे हैं, और उन्होंने कुशल NLP पर कार्यशालाओं के लिए कार्यक्रम समितियों में सेवा की है। उन्होंने एमआईटी-सीएसएआईएल और कार्नेगी-मेलन-विश्वविद्यालय में आमंत्रित भाषण दिए हैं, हालांकि इन कार्यक्रमों की विशिष्ट तिथियां सार्वजनिक रूप से सूचीबद्ध नहीं हैं।

प्रभाव और विरासत

प्रीफिक्स-ट्यूनिंग विधि को शिक्षा और उद्योग दोनों में व्यापक रूप से अपनाया गया है। यह हगिंग फेस के ट्रांसफॉर्मर्स सहित कई ओपन-सोर्स लाइब्रेरी में एकीकृत है, और कोड जनरेशन से लेकर चिकित्सा संवाद तक के कार्यों के लिए मॉडल अनुकूलित करने के लिए उपयोग किया गया है। इस तकनीक की दक्षता ने इसे सीमित GPU संसाधनों वाले संगठनों, जैसे स्टार्टअप और विकासशील देशों में शोध प्रयोगशालाओं के लिए विशेष रूप से मूल्यवान बना दिया है।

ज़ीरो-शॉट प्रॉम्प्टिंग पर राफेल के जोर ने जनरेटिव-एआई उत्पादों में निर्देश-आधारित इंटरफेस की ओर बदलाव में योगदान दिया। उनके निष्कर्षों ने ChatGPT और Claude जैसी प्रणालियों के डिज़ाइन को सूचित किया, जो वांछित व्यवहार उत्पन्न करने के लिए सावधानीपूर्वक तैयार किए गए प्रॉम्प्ट पर निर्भर करते हैं। हालांकि उन्होंने सीधे ओपनएआई या एंथ्रोपिक में काम नहीं किया, उनके शोध को अक्सर उनकी तकनीकी रिपोर्टों में उद्धृत किया जाता है।

वर्तमान कार्य

2024 तक, राफेल गूगल-डीपमाइंड में काम करना जारी रखते हैं, जहां वे बड़े-भाषा-मॉडल के लिए सतत सीखने की जांच करने वाली एक छोटी टीम का नेतृत्व करते हैं। उनकी हालिया परियोजनाओं में ऑनलाइन सेटिंग्स के लिए प्रीफिक्स-ट्यूनिंग अनुकूलित करना शामिल है, जहां मॉडल को विनाशकारी भूल के बिना अपडेट करना पड़ता है। उन्होंने अनुमान लागत कम करने के लिए प्रॉम्प्ट-आधारित विधियों को मॉडल-प्रूनिंग के साथ संयोजित करने पर भी काम प्रकाशित किया है।

राफेल शैक्षणिक सोशल नेटवर्क पर एक सक्रिय उपस्थिति बनाए रखते हैं और कई शुरुआती-करियर शोधकर्ताओं को मार्गदर्शन दिया है जो अमेज़न-वेब-सर्विसेज़ और माइक्रोसॉफ्ट में पदों पर गए हैं। उनका उद्धरण गणना 3,000 से अधिक है, जो कुशल अनुकूलन और प्रॉम्प्ट-आधारित सीखने पर उनके कार्य के व्यापक प्रभाव को दर्शाता है।

संदर्भ

• ली, एक्स. एल., और राफेल, सी. (2021). प्रीफिक्स-ट्यूनिंग: ऑप्टिमाइज़िंग कंटीन्यूअस प्रॉम्प्ट्स फॉर जनरेशन. ACL की कार्यवाही.
• राफेल, सी., और लियांग, पी. (2020). ज़ीरो-शॉट प्रॉम्प्टिंग फॉर लार्ज लैंग्वेज मॉडल्स. NLP में नकारात्मक परिणामों से अंतर्दृष्टि पर कार्यशाला.