XNLI (क्रॉस-लिंगुअल नेचुरल लैंग्वेज इन्फरेंस) एक बेंचमार्क डेटासेट है जिसे प्राकृतिक भाषा प्रसंस्करण मॉडलों की कई भाषाओं में प्राकृतिक भाषा अनुमान करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। 2018 में फेसबुक एआई रिसर्च के शोधकर्ताओं द्वारा पेश किया गया, यह डेटासेट क्रॉस-लिंगुअल समझ के लिए एक मानक मूल्यांकन उपकरण बन गया है, विशेष रूप से यह परीक्षण करने के लिए कि क्या एक भाषा पर प्रशिक्षित मॉडल अतिरिक्त कार्य-विशिष्ट प्रशिक्षण डेटा के बिना अन्य भाषाओं में सामान्यीकरण कर सकते हैं। डेटासेट में 15 भाषाएँ शामिल हैं, जिनमें अंग्रेजी, फ्रेंच, स्पेनिश, जर्मन, ग्रीक, बल्गेरियाई, रूसी, तुर्की, अरबी, वियतनामी, थाई, चीनी, हिंदी, स्वाहिली और उर्दू शामिल हैं।
प्राकृतिक भाषा अनुमान, जिसे पाठ्य आनुषंगिकता के रूप में भी जाना जाता है, यह निर्धारित करने का कार्य है कि क्या दी गई परिकल्पना किसी आधार वाक्य के संबंध में निहित है, विरोधाभासी है, या तटस्थ है। XNLI अपनी 15 भाषाओं में से प्रत्येक में आधार-परिकल्पना जोड़े प्रदान करता है, जिसमें प्रत्येक जोड़े को तीन श्रेणियों में से एक के रूप में लेबल किया जाता है: निहितार्थ, विरोधाभास, या तटस्थ। यह डेटासेट MultiNLI कॉर्पस पर आधारित है, जिसमें अंग्रेजी वाक्य जोड़े शामिल हैं, और पेशेवर मानव अनुवादकों का उपयोग करके विकास और परीक्षण सेटों का अन्य 14 भाषाओं में अनुवाद करके इसे विस्तारित करता है। यह डिज़ाइन शोधकर्ताओं को क्रॉस-लिंगुअल ट्रांसफर का मूल्यांकन करने की अनुमति देता है, जहाँ एक मॉडल को अंग्रेजी डेटा पर प्रशिक्षित किया जाता है और फिर गैर-अंग्रेजी भाषाओं पर परीक्षण किया जाता है, साथ ही शून्य-शॉट और कुछ-शॉट सीखने के परिदृश्यों का भी।
निर्माण और संरचना
XNLI डेटासेट का निर्माण MultiNLI कॉर्पस से 5,000 विकास और 5,000 परीक्षण आधार-परिकल्पना जोड़ों का चयन करके किया गया था। प्रत्येक जोड़े का अनुवाद पेशेवर अनुवादकों द्वारा अंग्रेजी से अन्य 14 भाषाओं में किया गया, जिससे उच्च भाषाई गुणवत्ता और सांस्कृतिक उपयुक्तता सुनिश्चित हुई। हालाँकि, प्रशिक्षण डेटा अंग्रेजी में ही रहता है, जो मूल MultiNLI प्रशिक्षण सेट से लिया गया है, जिसमें 390,000 से अधिक जोड़े शामिल हैं। यह व्यवस्था मॉडलों को अंग्रेजी से अनुमान तर्क सीखने और फिर इसे अन्य भाषाओं में लागू करने के लिए मजबूर करती है, जिससे XNLI क्रॉस-लिंगुअल सामान्यीकरण का एक कठोर परीक्षण बन जाता है।
15 भाषाओं को विभिन्न भाषा परिवारों और लिपियों का प्रतिनिधित्व करने के लिए चुना गया था, जिनमें इंडो-यूरोपीय (अंग्रेजी, फ्रेंच, स्पेनिश, जर्मन, ग्रीक, बल्गेरियाई, रूसी, तुर्की, हिंदी, उर्दू), अफ्रो-एशियाई (अरबी), सिनो-तिब्बती (चीनी), ऑस्ट्रोएशियाई (वियतनामी), क्रा-दाई (थाई), और नाइजर-कांगो (स्वाहिली) शामिल हैं। यह विविधता मॉडलों को रूपात्मक, वाक्यात्मक और लिपि भिन्नताओं को संभालने की चुनौती देती है। प्रत्येक भाषा उपसमुच्चय में समान 10,000 जोड़े (5,000 विकास और 5,000 परीक्षण) शामिल हैं, जो भाषाओं के बीच सीधी तुलना की अनुमति देता है।
मूल्यांकन मेट्रिक्स और उपयोग के मामले
XNLI का मूल्यांकन आमतौर पर सटीकता का उपयोग करके किया जाता है, जो सही ढंग से वर्गीकृत आधार-परिकल्पना जोड़ों के प्रतिशत को मापता है। डेटासेट दो मुख्य मूल्यांकन प्रोटोकॉल का समर्थन करता है: ट्रांसलेट-ट्रेन, जहाँ प्रशिक्षण डेटा का मशीन अनुवाद लक्ष्य भाषा में किया जाता है, और ट्रांसलेट-टेस्ट, जहाँ परीक्षण सेट का अंग्रेजी में अनुवाद किया जाता है। ट्रांसलेट-ट्रेन दृष्टिकोण अधिक सामान्य है और व्यावहारिक परिदृश्यों को दर्शाता है जहाँ कम-संसाधन भाषाओं में लेबल किया गया डेटा दुर्लभ होता है। शोधकर्ता शून्य-शॉट क्रॉस-लिंगुअल ट्रांसफर का आकलन करने के लिए भी XNLI का उपयोग करते हैं, जहाँ केवल अंग्रेजी पर प्रशिक्षित एक मॉडल का मूल्यांकन बिना किसी लक्ष्य-भाषा प्रशिक्षण डेटा के सीधे अन्य भाषाओं पर किया जाता है।
यह डेटासेट बहुभाषी मॉडलों को आगे बढ़ाने में सहायक रहा है। उदाहरण के लिए, मल्टीलिंगुअल BERT और XLM जैसे मॉडलों ने पहले के दृष्टिकोणों की तुलना में XNLI पर महत्वपूर्ण सुधार दर्ज किए हैं, जिसमें सटीकता स्कोर भाषाओं में औसतन लगभग 60% से बढ़कर 70% से अधिक हो गए हैं। 2023 तक, GPT-4 और PaLM जैसे अत्याधुनिक बड़े भाषा मॉडलों ने XNLI पर 85% से अधिक सटीकता हासिल की है, हालाँकि प्रदर्शन अभी भी भाषा के अनुसार भिन्न होता है, जिसमें स्वाहिली और उर्दू जैसी कम-संसाधन भाषाएँ आमतौर पर फ्रेंच और जर्मन जैसी उच्च-संसाधन भाषाओं की तुलना में कम स्कोर दिखाती हैं।
अन्य बेंचमार्क से संबंध
XNLI क्रॉस-लिंगुअल समझ बेंचमार्क के व्यापक परिवार का हिस्सा है, जिसमें XGLUE और XTREME शामिल हैं, जो प्रश्न उत्तर और नामित इकाई पहचान जैसे कई कार्यों को एकत्रित करते हैं। XNLI को अक्सर अपने स्वच्छ डिज़ाइन और स्पष्ट मूल्यांकन मीट्रिक के कारण इन बड़े बेंचमार्क में एक मुख्य घटक के रूप में उपयोग किया जाता है। यह SNLI और MultiNLI जैसे अन्य प्राकृतिक भाषा अनुमान डेटासेट का पूरक है, जिसमें एक बहुभाषी आयाम जोड़ा गया है, जिससे क्रॉस-लिंगुअल प्रतिनिधित्व सीखने और स्थानांतरण सीखने पर शोध संभव होता है।
डेटासेट ने बहुभाषी पूर्व-प्रशिक्षण उद्देश्यों के विकास को भी प्रभावित किया है। क्रॉस-लिंगुअल भाषा मॉडल पूर्व-प्रशिक्षण जैसी तकनीकें, जहाँ मॉडलों को कई भाषाओं में मास्क्ड भाषा मॉडलिंग पर प्रशिक्षित किया जाता है, का सीधे XNLI पर मूल्यांकन किया गया है। इस बेंचमार्क को हजारों शोध पत्रों में उद्धृत किया गया है, जिससे यह बहुभाषी प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में एक मौलिक संसाधन बन गया है।
सीमाएँ और आलोचनाएँ
व्यापक उपयोग के बावजूद, XNLI की सीमाएँ हैं। डेटासेट अंग्रेजी स्रोत पाठों से व्युत्पन्न है, जिसका अर्थ है कि गैर-अंग्रेजी संस्करण मूल पाठों के बजाय अनुवाद हैं, जो संभावित रूप से अनुवाद कलाकृतियों को पेश कर सकते हैं जो उन भाषाओं में प्राकृतिक उपयोग को प्रतिबिंबित नहीं करते हैं। इसके अतिरिक्त, आधार-परिकल्पना जोड़े अपेक्षाकृत छोटे हैं और वास्तविक दुनिया के अनुप्रयोगों में आवश्यक जटिल तर्क को पकड़ने में सक्षम नहीं हो सकते हैं। कुछ शोधकर्ताओं ने नोट किया है कि XNLI पर उच्च सटीकता आवश्यक रूप से अन्य कार्यों, जैसे पीढ़ी या संवाद, में मजबूत क्रॉस-लिंगुअल समझ में अनुवादित नहीं होती है। 15 भाषाओं का निश्चित सेट कई कम-संसाधन भाषाओं को भी बाहर करता है, जिससे वास्तव में कम-संसाधन परिदृश्यों में इसकी प्रयोज्यता सीमित हो जाती है।
प्रभाव और विरासत
XNLI ने मशीन लर्निंग समुदाय में क्रॉस-लिंगुअल मूल्यांकन को लोकप्रिय बनाने में महत्वपूर्ण भूमिका निभाई है। यह XLM-R और mT5 सहित बहुभाषी ट्रांसफार्मर मॉडलों के विकास के लिए एक प्रमुख चालक रहा है, जिन्होंने बेंचमार्क पर नए मानक स्थापित किए हैं। डेटासेट अनुसंधान उद्देश्यों के लिए सार्वजनिक रूप से उपलब्ध है और हगिंग फेस के डेटासेट और PyTorch जैसी लोकप्रिय लाइब्रेरीज़ में एकीकृत है, जिससे आसान पहुँच और पुनरुत्पादन की सुविधा मिलती है। इसके डिज़ाइन ने अन्य कार्यों के बहुभाषी संस्करणों के निर्माण जैसे समान प्रयासों को प्रेरित किया है, और यह क्रॉस-लिंगुअल प्राकृतिक भाषा समझ में प्रगति को मापने के लिए एक मानक संदर्भ बिंदु बना हुआ है।
यह भी देखें
- मशीन लर्निंग
- डीप लर्निंग
- ट्रांसफार्मर
- बड़ा भाषा मॉडल
- प्राकृतिक भाषा अनुमान