यिनफेई यांग एक कंप्यूटर वैज्ञानिक और गूगल में शोध वैज्ञानिक हैं, जिन्हें BERT के सह-लेखक के रूप में पहचाना जाता है, जो एक ट्रांसफॉर्मर-आधारित मॉडल है जिसने प्राकृतिक भाषा प्रसंस्करण में प्रतिनिधित्व सीखने को उन्नत किया। उनकी शोध रुचियों में प्राकृतिक भाषा निर्माण, अनुक्रम-से-अनुक्रम मॉडलिंग, और मशीन लर्निंग शामिल हैं। उन्होंने भाषा समझ में कृत्रिम बुद्धिमत्ता के सैद्धांतिक आधारों और व्यावहारिक अनुप्रयोगों दोनों में योगदान दिया है।
करियर और शोध
यांग गूगल रिसर्च में काम करते हैं, जहाँ उन्होंने प्राकृतिक भाषा समझ और निर्माण पर ध्यान केंद्रित किया है। उन्होंने 2018 के पेपर का सह-लेखन किया जिसमें BERT पेश किया गया, जो बड़े भाषा मॉडल के लिए एक आधारभूत मॉडल बन गया। उनके अन्य उल्लेखनीय कार्यों में यूनिवर्सल सेंटेंस एनकोडर शामिल है, जो वाक्य एम्बेडिंग सीखने के लिए एक मॉडल है जिसे उत्पादन प्रणालियों में व्यापक रूप से अपनाया गया है। उन्होंने पाठ निर्माण पर शोध में भी योगदान दिया है, जिसमें एनकोडर-डिकोडर आर्किटेक्चर और मल्टी-हेड अटेंशन तंत्र पर काम शामिल है। उनका शोध अक्सर बड़े पैमाने पर प्रशिक्षित तंत्रिका नेटवर्क से जुड़ा होता है।
BERT और द्विदिशात्मक प्रतिनिधित्व सीखना
BERT, जो बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन्स फ्रॉम ट्रांसफॉर्मर्स का संक्षिप्त रूप है, 2018 में प्रकाशित पेपर "BERT: प्री-ट्रेनिंग ऑफ डीप बिडायरेक्शनल ट्रांसफॉर्मर्स फॉर लैंग्वेज अंडरस्टैंडिंग" में पेश किया गया था। यह मॉडल प्रशिक्षण के दौरान स्थितीय एन्कोडिंग, लेयर नॉर्मलाइजेशन, अवशिष्ट कनेक्शन, और ड्रॉपआउट के साथ एक ट्रांसफॉर्मर एनकोडर का उपयोग करता है। इसे मास्क्ड लैंग्वेज मॉडलिंग और अगले-वाक्य भविष्यवाणी उद्देश्यों का उपयोग करके एक बड़े कोरपस पर पूर्व-प्रशिक्षित किया गया था। BERT-बेस में 110 मिलियन पैरामीटर हैं, जबकि BERT-लार्ज में 340 मिलियन पैरामीटर हैं। मॉडल ने कई प्राकृतिक भाषा प्रसंस्करण बेंचमार्कों पर अत्याधुनिक परिणाम प्राप्त किए, जिनमें GLUE स्कोर और SQuAD प्रश्न-उत्तर कार्य शामिल हैं। इसका द्विदिशात्मक प्रशिक्षण दृष्टिकोण इसे दोनों दिशाओं से संदर्भ पकड़ने की अनुमति देता है, जिससे शब्द संबंधों की समझ की आवश्यकता वाले कार्यों पर प्रदर्शन में सुधार होता है। ऐसे मॉडलों के प्रशिक्षण के लिए सावधानीपूर्वक सीखने की दर अनुसूची और एडम ऑप्टिमाइज़र के उपयोग की आवश्यकता होती है।
यूनिवर्सल सेंटेंस एनकोडर
यांग ने यूनिवर्सल सेंटेंस एनकोडर का सह-लेखन किया, जो एक मॉडल है जो वाक्यों को निश्चित-लंबाई वाले वैक्टर में मैप करता है। यह मॉडल एक ट्रांसफॉर्मर आर्किटेक्चर पर आधारित है और इसे विभिन्न डेटा स्रोतों पर प्रशिक्षित किया गया था, जिनमें वेब समाचार, प्रश्न-उत्तर पृष्ठ, और चर्चा मंच शामिल हैं। यह अर्थगत समानता, पाठ वर्गीकरण, और क्लस्टरिंग जैसे कार्यों के लिए स्थानांतरण सीखने का समर्थन करता है। यूनिवर्सल सेंटेंस एनकोडर को डेवलपर्स और शोधकर्ताओं के लिए एक उपकरण के रूप में जारी किया गया है, जो कार्य-विशिष्ट प्रशिक्षण की आवश्यकता के बिना कुशल वाक्य-स्तरीय प्रतिनिधित्व सक्षम करता है। यह कार्य वाक्य एम्बेडिंग और अर्थगत खोज के क्षेत्र में प्रभावशाली रहा है।
प्राकृतिक भाषा निर्माण और प्रभाव
यांग के प्राकृतिक भाषा निर्माण में योगदान में अनुक्रम-से-अनुक्रम मॉडल और सुसंगत और संदर्भ-प्रासंगिक पाठ उत्पन्न करने की तकनीकें शामिल हैं। इस क्षेत्र में, आउटपुट गुणवत्ता में सुधार के लिए बीम खोज जैसी डिकोडिंग रणनीतियाँ आमतौर पर उपयोग की जाती हैं। उनके कार्य को सारांशीकरण, संवाद प्रणाली, और प्रश्न-उत्तर जैसे कार्यों पर लागू किया गया है। उन्होंने जिन प्रतिनिधित्व सीखने के तरीकों को विकसित करने में मदद की, विशेष रूप से BERT, ने क्षेत्र पर स्थायी प्रभाव डाला है। उन्होंने डाउनस्ट्रीम कार्यों के लिए अधिक प्रभावी फाइन-ट्यूनिंग सक्षम की और बाद के बड़े भाषा मॉडल और जनरेटिव AI प्रणालियों के लिए निर्माण खंड के रूप में कार्य किया। वाक्य एम्बेडिंग पर उनके कार्य ने अर्थगत पाठ समानता और पुनर्प्राप्ति के दृष्टिकोणों को भी प्रभावित किया।