XLM-RoBERTa फेसबुक AI (अब मेटा AI) द्वारा विकसित एक क्रॉस-भाषाई भाषा मॉडल है, जो मशीन लर्निंग के मास्क्ड लैंग्वेज मॉडलिंग प्रतिमान को 100 भाषाओं तक विस्तारित करता है। यह ट्रांसफॉर्मर की वास्तुकला और RoBERTa के प्रशिक्षण दृष्टिकोण पर आधारित है, जो BERT का एक मजबूत अनुकूलित संस्करण है। मॉडल को भाषाओं के बीच एक साझा प्रतिनिधित्व स्थान सीखने के लिए डिज़ाइन किया गया है, जिससे यह पाठ वर्गीकरण, नामित इकाई पहचान, और प्रश्न उत्तर जैसे कार्यों को उन भाषाओं में कर सकता है जिन पर इसे पूर्व-प्रशिक्षित किया गया है, बिना प्रत्येक भाषा में कार्य-विशिष्ट प्रशिक्षण डेटा की आवश्यकता के।
मॉडल को 2019 के शोध पत्र "Unsupervised Cross-lingual Representation Learning at Scale" में पेश किया गया था, जिसे Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, और Veselin Stoyanov द्वारा लिखा गया था। इसे एक ओपन-सोर्स मॉडल के रूप में जारी किया गया था, जिसमें दो आकारों के लिए चेकपॉइंट उपलब्ध हैं: XLM-R बेस (12 परतें, 768 छिपे हुए आयाम, और 270 मिलियन पैरामीटर) और XLM-R लार्ज (24 परतें, 1024 छिपे हुए आयाम, और 550 मिलियन पैरामीटर)। मॉडल के पूर्व-प्रशिक्षण डेटा में एक फ़िल्टर किया गया CommonCrawl कॉर्पस शामिल था, जिसमें 2 टेराबाइट से अधिक पाठ था, जो 100 भाषाओं में संतुलित था।
पूर्व-प्रशिक्षण दृष्टिकोण
XLM-RoBERTa एक मास्क्ड लैंग्वेज मॉडलिंग उद्देश्य का उपयोग करता है, जहां इनपुट टोकन का एक प्रतिशत यादृच्छिक रूप से मास्क किया जाता है, और मॉडल आसपास के संदर्भ के आधार पर मूल टोकन की भविष्यवाणी करना सीखता है। पहले के क्रॉस-भाषाई मॉडल जैसे XLM के विपरीत, जिन्हें समानांतर वाक्य या अनुवाद भाषा मॉडलिंग उद्देश्यों की आवश्यकता होती थी, XLM-RoBERTa केवल प्रत्येक भाषा से एकभाषी डेटा पर निर्भर करता है। यह पूर्व-प्रशिक्षण पाइपलाइन को सरल बनाता है और अधिक संख्या में भाषाओं तक स्केलिंग को सक्षम करता है। मॉडल 250,000 सबवर्ड इकाइयों की एक साझा शब्दावली का उपयोग करता है, जो SentencePiece टोकनाइज़र का उपयोग करके बनाई गई है, जो कई लिपियों और भाषाओं के कुशल प्रतिनिधित्व की अनुमति देती है।
पूर्व-प्रशिक्षण के दौरान, मॉडल को RoBERTa के समान एक गतिशील मास्किंग योजना पर प्रशिक्षित किया गया था, जहां मास्किंग पैटर्न प्रत्येक युग के साथ बदलता है। प्रशिक्षण में Adam ऑप्टिमाइज़र का उपयोग 1e-4 की चरम सीखने की दर के साथ किया गया, और बैच आकार 8,192 अनुक्रम था। बड़े मॉडल को 512 TPU (टेंसर प्रोसेसिंग यूनिट) पर लगभग 1.5 मिलियन चरणों के लिए प्रशिक्षित किया गया, जिससे महत्वपूर्ण कम्प्यूटेशनल संसाधनों की खपत हुई। लेखकों ने बताया कि अधिक डेटा और बड़े मॉडल आकार के साथ मॉडल का प्रदर्शन बेहतर हुआ, जो क्रॉस-भाषाई पूर्व-प्रशिक्षण को स्केल करने के लाभों को प्रदर्शित करता है।
क्रॉस-भाषाई स्थानांतरण क्षमताएँ
XLM-RoBERTa की एक प्रमुख विशेषता शून्य-शॉट क्रॉस-भाषाई स्थानांतरण करने की इसकी क्षमता है। जब एक भाषा (जैसे अंग्रेजी) में किसी कार्य पर फाइन-ट्यून किया जाता है, तो मॉडल उस ज्ञान को अतिरिक्त फाइन-ट्यूनिंग के बिना अन्य भाषाओं में लागू कर सकता है। यह इसलिए प्राप्त होता है क्योंकि साझा प्रतिनिधित्व स्थान समान अवधारणाओं को भाषाओं में संरेखित करता है। मूल पत्र में, लेखकों ने XLM-RoBERTa का मूल्यांकन कई बेंचमार्क पर किया, जिसमें XNLI (क्रॉस-भाषाई प्राकृतिक भाषा अनुमान), MLQA (बहुभाषी प्रश्न उत्तर), और NER (नामित इकाई पहचान) शामिल हैं। मॉडल ने उस समय इन बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए, जो mBERT और XLM जैसे पिछले बहुभाषी मॉडलों से बेहतर प्रदर्शन करता है।
उदाहरण के लिए, XNLI पर, बड़े मॉडल ने 15 भाषाओं में औसत सटीकता 79.2% हासिल की, जबकि mBERT के लिए 72.6% और XLM के लिए 76.2% थी। मॉडल ने कम-संसाधन भाषाओं, जैसे स्वाहिली और उर्दू, पर भी मजबूत प्रदर्शन दिखाया, जो दर्शाता है कि विविध भाषाओं पर पूर्व-प्रशिक्षण लेबल किए गए डेटा की कमी को कम करने में मदद करता है। हालांकि, लेखकों ने नोट किया कि प्रदर्शन भाषाओं के बीच भिन्न होता है, जिन भाषाओं में अधिक प्रशिक्षण डेटा होता है वे आम तौर पर बेहतर परिणाम प्राप्त करती हैं।
वास्तुकला और कार्यान्वयन
XLM-RoBERTa मानक ट्रांसफॉर्मर एन्कोडर वास्तुकला का पालन करता है, जिसमें कोई डिकोडर घटक नहीं होता है। यह मल्टी-हेड सेल्फ-अटेंशन तंत्र, फीड-फॉरवर्ड परतें, और लेयर नॉर्मलाइज़ेशन का उपयोग करता है, जैसा कि मूल ट्रांसफॉर्मर पत्र में वर्णित है। मॉडल एक सीखा हुआ पोजीशनल एन्कोडिंग शामिल करता है, और प्रत्येक अनुक्रम की शुरुआत में एक विशेष टोकन [CLS] का उपयोग करता है, जिसकी अंतिम छिपी हुई स्थिति वर्गीकरण कार्यों के लिए उपयोग की जाती है। मॉडल 512 टोकन तक के अनुक्रमों का समर्थन करता है, जो BERT-शैली मॉडलों के लिए एक सामान्य सीमा है।
कार्यान्वयन Hugging Face Transformers लाइब्रेरी में उपलब्ध है, जिससे कस्टम कार्यों के लिए मॉडल को लोड और फाइन-ट्यून करना आसान हो जाता है। मॉडल को Fairseq जैसे अन्य फ्रेमवर्क में भी एकीकृत किया गया है, जिसका उपयोग मूल प्रशिक्षण के लिए किया गया था। ओपन-सोर्स रिलीज़ में पूर्व-प्रशिक्षित वेट, टोकनाइज़र, और कॉन्फ़िगरेशन फ़ाइलें शामिल हैं, जिससे शोधकर्ताओं और चिकित्सकों को परिणामों को पुन: उत्पन्न करने और मॉडल पर निर्माण करने की अनुमति मिलती है। मॉडल MIT लाइसेंस के तहत लाइसेंस प्राप्त है, जो व्यावसायिक और शोध उपयोग की अनुमति देता है।
प्रभाव और अनुप्रयोग
XLM-RoBERTa का प्राकृतिक भाषा प्रसंस्करण (NLP) के क्षेत्र पर महत्वपूर्ण प्रभाव पड़ा है, विशेष रूप से बहुभाषी अनुप्रयोगों के लिए। इसे व्यापक रूप से क्रॉस-भाषाई बेंचमार्क के लिए एक आधार रेखा के रूप में अपनाया गया है और बहुभाषी ग्राहक सहायता, सामग्री मॉडरेशन, और सूचना निष्कर्षण जैसे कार्यों के लिए उत्पादन प्रणालियों में उपयोग किया जाता है। मॉडल की 100 भाषाओं को एक ही वेट सेट के साथ संभालने की क्षमता प्रति भाषा अलग मॉडल की आवश्यकता को कम करती है, जिससे तैनाती और रखरखाव सरल हो जाता है।
मॉडल ने बाद के शोध को भी प्रभावित किया है, जिसमें mT5 और XLM-E जैसे बड़े बहुभाषी मॉडलों का विकास शामिल है, और इसे अधिक जटिल प्रणालियों, जैसे पुनर्प्राप्ति-संवर्धित जनरेशन पाइपलाइनों में एक घटक के रूप में उपयोग किया गया है। इसकी सफलता ने प्रदर्शित किया कि पूर्व-प्रशिक्षण डेटा और मॉडल आकार को स्केल करने से क्रॉस-भाषाई समझ में पर्याप्त लाभ मिल सकते हैं, जिससे बहुभाषी बड़े भाषा मॉडल में आगे की प्रगति का मार्ग प्रशस्त हुआ।
सीमाएँ और विचारणीय बिंदु
इसकी ताकत के बावजूद, XLM-RoBERTa की सीमाएँ हैं। मॉडल की शब्दावली और पूर्व-प्रशिक्षण डेटा उच्च-संसाधन भाषाओं की ओर पक्षपाती है, और बहुत कम-संसाधन भाषाओं पर प्रदर्शन उप-इष्टतम हो सकता है। 512-टोकन अनुक्रम लंबाई सीमा लंबे दस्तावेज़ों के लिए इसके उपयोग को प्रतिबंधित करती है। इसके अतिरिक्त, मॉडल पाठ उत्पन्न नहीं करता है, क्योंकि यह केवल एन्कोडर मॉडल है, इसलिए यह अनुकूलन के बिना जनरेटिव कार्यों के लिए उपयुक्त नहीं है। पूर्व-प्रशिक्षण की कम्प्यूटेशनल लागत पर्याप्त थी, लेकिन जारी किए गए चेकपॉइंट उपयोगकर्ताओं को उस खर्च से बचने की अनुमति देते हैं। अन्य भाषा मॉडलों की तरह, XLM-RoBERTa प्रशिक्षण डेटा में मौजूद सामाजिक पूर्वाग्रहों को एन्कोड कर सकता है, जिसके लिए डाउनस्ट्रीम अनुप्रयोगों में सावधानीपूर्वक विचार की आवश्यकता होती है।
यह भी देखें
- BERT (सूची में नहीं, लेकिन संबंधित - छोड़ा गया)
- multilingual-model (सूची में नहीं - छोड़ा गया)
- RoBERTa (सूची में नहीं - छोड़ा गया)
- cross-lingual-transfer (सूची में नहीं - छोड़ा गया)
(नोट: चूंकि प्रदान किए गए लिंक स्लग में ये विशिष्ट शब्द शामिल नहीं हैं, लेख केवल अनुमत स्लग का उपयोग करता है। उपयोग किए गए आंतरिक लिंक Machine learning, Transformer (architecture), और Large language model हैं।)