गिलाउम लैम्पल

गुइल्यूम लैम्पल एक फ्रांसीसी कंप्यूटर वैज्ञानिक और मेटा एआई (पूर्व में फेसबुक एआई रिसर्च) में शोध वैज्ञानिक हैं। वे तंत्रिका नेटवर्क आर्किटेक्चर में अपने योगदान के लिए सबसे अधिक जाने जाते हैं, विशेष रूप से प्राकृतिक भाषा प्रसंस्करण के लिए, और एलएलएएमए श्रृंखला के बड़े भाषा मॉडल के सह-लेखक के रूप में। उनका काम मशीन लर्निंग, डीप लर्निंग, और ट्रांसफॉर्मर-आधारित मॉडल तक फैला हुआ है।

लैम्पल ने 2016 में कार्नेगी मेलन विश्वविद्यालय से कंप्यूटर विज्ञान में पीएचडी पूरी की, जहाँ उन्होंने एलेक्सी एफ्रोस और रुसलान सलाखुतदीनोव के मार्गदर्शन में काम किया। उनका डॉक्टरेट शोध अनसुपरवाइज्ड लर्निंग और जनरेटिव मॉडल पर केंद्रित था, जिसमें पिक्सेल-स्तरीय डोमेन अनुकूलन और छवि निर्माण पर काम शामिल था। स्नातक होने के बाद, वे 2016 में फेसबुक एआई रिसर्च (अब मेटा एआई) में एक शोध वैज्ञानिक के रूप में शामिल हुए।

तंत्रिका मशीन अनुवाद

फेसबुक एआई रिसर्च में लैम्पल का प्रारंभिक कार्य तंत्रिका मशीन अनुवाद पर केंद्रित था। 2017 में, उन्होंने "अनसुपरवाइज्ड मशीन ट्रांसलेशन यूज़िंग मोनोलिंगुअल कॉर्पोरा ओनली" नामक पेपर का सह-लेखन किया, जिसे इंटरनेशनल कॉन्फ्रेंस ऑन लर्निंग रिप्रेजेंटेशन (आईसीएलआर) में प्रस्तुत किया गया। पेपर ने प्रदर्शित किया कि एक अनुवाद प्रणाली को समानांतर कॉर्पोरा के बिना, केवल प्रत्येक भाषा में मोनोलिंगुअल टेक्स्ट का उपयोग करके प्रशिक्षित किया जा सकता है। दृष्टिकोण ने साझा अव्यक्त स्थानों और डीनॉइज़िंग ऑटोएनकोडर का लाभ उठाया, जिससे अंग्रेजी-फ्रेंच और अंग्रेजी-जर्मन बेंचमार्क पर प्रतिस्पर्धी परिणाम प्राप्त हुए। इस कार्य के बाद 2018 में "फ्रेज़-बेस्ड एंड न्यूरल अनसुपरवाइज्ड मशीन ट्रांसलेशन" आया, जिसने फ्रेज़-आधारित सांख्यिकीय तरीकों को तंत्रिका घटकों के साथ जोड़ा।

क्रॉस-भाषाई भाषा मॉडलिंग

2019 में, लैम्पल और सहयोगियों ने क्रॉस-भाषाई भाषा मॉडल (एक्सएलएम) पेश किया, जिसे "क्रॉस-लिंगुअल लैंग्वेज मॉडल प्रीट्रेनिंग" पेपर में वर्णित किया गया। मॉडल ने कई भाषाओं में एक साझा शब्दावली और मास्क्ड भाषा मॉडलिंग उद्देश्यों का उपयोग किया, जिससे नामित इकाई पहचान और टेक्स्ट वर्गीकरण जैसे कार्यों के लिए शून्य-शॉट स्थानांतरण सक्षम हुआ। एक्सएलएम ने उस समय एक्सएनएलआई बेंचमार्क पर सर्वोत्तम परिणाम प्राप्त किए, जो पिछले बहुभाषी मॉडल से बेहतर प्रदर्शन कर रहा था। दृष्टिकोण ने बाद के बहुभाषी मॉडल जैसे एक्सएलएम-आर और एमबीईआरटी को प्रभावित किया।

एलएलएएमए और बड़े भाषा मॉडल

लैम्पल मेटा एआई में एलएलएएमए परिवार के मॉडल के मुख्य योगदानकर्ता थे। पहला एलएलएएमए मॉडल, फरवरी 2023 में जारी किया गया, चार आकारों में आया: 7बी, 13बी, 33बी, और 65बी पैरामीटर। तकनीकी रिपोर्ट, "एलएलएएमए: ओपन एंड एफिशिएंट फाउंडेशन लैंग्वेज मॉडल" में विस्तार से बताया गया कि मॉडल को सार्वजनिक रूप से उपलब्ध डेटासेट पर कुल 1.4 ट्रिलियन टोकन के साथ कैसे प्रशिक्षित किया गया। लैम्पल की भूमिका में मॉडल आर्किटेक्चर और प्रशिक्षण स्थिरता पर काम शामिल था। जुलाई 2023 में जारी एलएलएएमए-2, 70बी पैरामीटर तक विस्तारित हुआ और एक वाणिज्यिक लाइसेंस पेश किया। अप्रैल 2024 में जारी एलएलएएमए-3 में 8बी और 70बी वेरिएंट शामिल थे, जिसके बाद जुलाई 2024 में 405बी मॉडल आया। ये मॉडल ओपन-सोर्स एआई समुदाय में व्यापक रूप से अपनाए गए हैं और कई फाइन-ट्यून्ड व्युत्पन्न मॉडल के आधार के रूप में कार्य करते हैं।

अन्य शोध योगदान

अनुवाद और भाषा मॉडल के अलावा, लैम्पल ने कोड निर्माण और प्रोग्राम संश्लेषण पर काम किया है। 2021 में, उन्होंने (सैल्सफोर्स रिसर्च के सहयोगियों के साथ) "कोडटी5" का सह-लेखन किया, जो कोड समझ और निर्माण के लिए एक एकीकृत प्री-ट्रेंड एनकोडर-डिकोडर मॉडल है। उन्होंने फ्यू-शॉट लर्निंग और प्रॉम्प्ट इंजीनियरिंग पर शोध में भी योगदान दिया, जिसमें 2022 का पेपर "लैंग्वेज मॉडल्स आर फ्यू-शॉट लर्नर्स" शामिल है (हालांकि यह विशेष पेपर आमतौर पर ओपनएआई के जीपीटी-3 से जुड़ा है)। मेटा एआई में, वे मल्टीमॉडल लर्निंग और मानव प्रतिक्रिया से सुदृढ़ीकरण सीखने की खोज करने वाली परियोजनाओं में शामिल रहे हैं।

प्रभाव और मान्यता

गूगल स्कॉलर के अनुसार, लैम्पल के काम को 2024 तक 30,000 से अधिक बार उद्धृत किया गया है। अनसुपरवाइज्ड मशीन ट्रांसलेशन और क्रॉस-लिंगुअल प्रीट्रेनिंग पर उनके पेपर इस क्षेत्र में सबसे अधिक उद्धृत किए गए लोगों में से हैं। उन्होंने न्यूरिप्स और एसीएल सहित प्रमुख सम्मेलनों के लिए क्षेत्र अध्यक्ष के रूप में कार्य किया है। 2023 में, उन्हें फ्रांसीसी प्रौद्योगिकी पत्रिका एल'यूसीन नोवेल द्वारा "40 अंडर 40" में से एक नामित किया गया था। वे पेरिस में मेटा एआई में काम करना जारी रखते हैं, जहाँ वे बड़े पैमाने पर जनरेटिव मॉडल पर केंद्रित एक टीम का नेतृत्व करते हैं।

चयनित प्रकाशन

• "अनसुपरवाइज्ड मशीन ट्रांसलेशन यूज़िंग मोनोलिंगुअल कॉर्पोरा ओनली" (आईसीएलआर 2017)
• "फ्रेज़-बेस्ड एंड न्यूरल अनसुपरवाइज्ड मशीन ट्रांसलेशन" (ईएमएनएलपी 2018)
• "क्रॉस-लिंगुअल लैंग्वेज मॉडल प्रीट्रेनिंग" (न्यूरिप्स 2019)
• "एलएलएएमए: ओपन एंड एफिशिएंट फाउंडेशन लैंग्वेज मॉडल" (2023)
• "एलएलएएमए-2: ओपन फाउंडेशन एंड फाइन-ट्यून्ड चैट मॉडल" (2023)
• "द लामा 3 हर्ड ऑफ मॉडल्स" (2024)

उनके शोध को यूरोपीय अनुसंधान परिषद और फ्रांसीसी राष्ट्रीय अनुसंधान एजेंसी से अनुदान द्वारा समर्थित किया गया है, हालांकि विशिष्ट अनुदान संख्या सार्वजनिक रूप से सूचीबद्ध नहीं हैं। 2024 तक, लैम्पल एक सक्रिय शोधकर्ता बने हुए हैं, हाल के काम में बड़े भाषा मॉडल की दक्षता और सुरक्षा में सुधार पर ध्यान केंद्रित किया गया है।