SQuAD 2.0 (स्टैनफोर्ड प्रश्नोत्तर डेटासेट, संस्करण 2.0) प्राकृतिक भाषा प्रसंस्करण प्रणालियों की पठन समझ क्षमताओं के मूल्यांकन के लिए व्यापक रूप से उपयोग किया जाने वाला बेंचमार्क है। 2018 में स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं द्वारा जारी, यह मूल SQuAD 1.1 डेटासेट पर आधारित है और एक महत्वपूर्ण चुनौती पेश करता है: अनुत्तरित प्रश्न। SQuAD 2.0 में, प्रत्येक अनुच्छेद के साथ प्रश्न जोड़े जाते हैं, जिनमें से कुछ का उत्तर पाठ में मौजूद नहीं होता है, जिससे मॉडलों को न केवल सही अंश निकालने के लिए मजबूर होना पड़ता है, बल्कि यह भी पहचानना पड़ता है कि प्रश्न अनुत्तरित है या नहीं। यह डिज़ाइन सीधे तौर पर किसी प्रणाली की जानकारी की उपस्थिति या अनुपस्थिति के बारे में तर्क करने की क्षमता का परीक्षण करता है, जो सरल पैटर्न मिलान से आगे बढ़ता है।
डेटासेट में 500 से अधिक विकिपीडिया लेखों से प्राप्त 100,000 से अधिक प्रश्न-उत्तर जोड़े शामिल हैं। विशेष रूप से, इसमें लगभग 50,000 उत्तरदायी प्रश्न (SQuAD 1.1 से बनाए रखे गए) और अतिरिक्त 50,000 अनुत्तरित प्रश्न शामिल हैं, जिन्हें क्राउडवर्कर्स द्वारा प्रतिकूल रूप से लिखा गया था। ये अनुत्तरित प्रश्न प्रशंसनीय और उत्तरदायी प्रश्नों के समान शैली में तैयार किए गए हैं, अक्सर संबंधित लेकिन गलत संस्थाओं या तथ्यों का उपयोग करते हुए, जिससे कार्य काफी कठिन हो जाता है। SQuAD 2.0 के लिए मूल्यांकन मीट्रिक एक्सैक्ट मैच (EM) स्कोर है, जिसके लिए मॉडल के भविष्यवाणी किए गए उत्तर को ग्राउंड ट्रुथ से बिल्कुल मेल खाना आवश्यक है, और F1 स्कोर, जो भविष्यवाणी और सही उत्तर के बीच टोकन के ओवरलैप को मापता है। अनुत्तरित प्रश्नों के लिए, एक मॉडल को केवल तभी श्रेय मिलता है जब वह "कोई उत्तर नहीं" (एक खाली अंश) की भविष्यवाणी करता है।
पृष्ठभूमि और प्रेरणा
मूल SQuAD 1.1, जो 2016 में जारी किया गया था, निष्कर्षणात्मक प्रश्नोत्तर के लिए वास्तविक मानक बन गया, जहां मॉडलों को एक अनुच्छेद और एक प्रश्न दिया जाता है और उन्हें उत्तर के रूप में पाठ का एक सन्निहित अंश चुनना होता है। हालाँकि, इस सेटअप की एक महत्वपूर्ण सीमा थी: हर प्रश्न के लिए प्रदान किए गए संदर्भ में उत्तर की गारंटी थी। इसने मॉडलों को डेटासेट की संरचना का फायदा उठाने की अनुमति दी, अक्सर वास्तविक समझ के बजाय सतही शाब्दिक संकेतों पर निर्भर रहते हुए। इसे संबोधित करने के लिए, SQuAD 2.0 के निर्माताओं, प्रणव राजपुरकर और पर्सी लियांग के नेतृत्व में, अनुत्तरित प्रश्न पेश किए। लक्ष्य एक अधिक यथार्थवादी मूल्यांकन बनाना था जो वास्तविक दुनिया के परिदृश्यों को दर्शाता है जहां उपयोगकर्ता ऐसे प्रश्न पूछ सकते हैं जिनका उपलब्ध दस्तावेजों में कोई उत्तर नहीं है, और एक मजबूत प्रणाली को प्रतिक्रिया देने के बजाय "मुझे नहीं पता" कहने में सक्षम होना चाहिए।
डेटासेट निर्माण
SQuAD 2.0 के निर्माण में दो-चरणीय प्रक्रिया शामिल थी। पहले, उत्तरदायी प्रश्न सीधे SQuAD 1.1 से लिए गए थे, जो क्राउडवर्कर्स द्वारा उत्पन्न किए गए थे, जिन्हें एक अनुच्छेद दिखाया गया था और पाठ में एक अंश द्वारा उत्तर दिए जा सकने वाले प्रश्न लिखने के लिए कहा गया था। दूसरे, प्रत्येक अनुच्छेद के लिए, अतिरिक्त क्राउडवर्कर्स को अनुत्तरित प्रश्न लिखने का कार्य सौंपा गया था। उन्हें व्याकरणिक रूप से सही, अनुच्छेद के विषय से प्रासंगिक और प्रशंसनीय प्रश्न बनाने का निर्देश दिया गया था, लेकिन जिनके लिए अनुच्छेद में कोई अंश सही उत्तर प्रदान नहीं करता था। गुणवत्ता सुनिश्चित करने के लिए, श्रमिकों को अच्छे और बुरे अनुत्तरित प्रश्नों के उदाहरण दिए गए थे। अंतिम डेटासेट को फिर फ़िल्टर और मान्य किया गया, जिसके परिणामस्वरूप प्रति अनुच्छेद उत्तरदायी और अनुत्तरित प्रश्नों का संतुलित विभाजन हुआ। अनुच्छेद स्वयं विकिपीडिया लेखों से प्राप्त होते हैं जो इतिहास, विज्ञान और संस्कृति सहित विविध विषयों को कवर करते हैं।
मॉडल विकास पर प्रभाव
SQuAD 2.0 का मशीन लर्निंग और प्राकृतिक भाषा प्रसंस्करण के क्षेत्र पर गहरा प्रभाव पड़ा। यह जल्दी से पठन समझ मॉडलों के मूल्यांकन के लिए एक मानक बेंचमार्क बन गया, और इसके परिचय ने अनुत्तरित प्रश्नों को संभालने में महत्वपूर्ण शोध को प्रेरित किया। प्रारंभिक मॉडल, जैसे कि आवर्ती तंत्रिका नेटवर्क और ध्यान तंत्र पर आधारित, नई चुनौती से जूझते थे, अक्सर कोई उत्तर न होने पर भी उत्तर की भविष्यवाणी करते थे। बेंचमार्क ने अधिक परिष्कृत आर्किटेक्चर के विकास को प्रेरित किया, जिसमें "कोई उत्तर नहीं" क्लासिफायर शामिल करने वाले या उत्तर अंश के आत्मविश्वास स्कोर पर थ्रेशोल्ड का उपयोग करने वाले शामिल हैं। ट्रांसफॉर्मर-आधारित मॉडलों की रिलीज़, विशेष रूप से 2018 के अंत में BERT (बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन्स फ्रॉम ट्रांसफॉर्मर्स), ने SQuAD 2.0 पर तेजी से सुधार किया। एक बड़े कोरपस पर BERT के पूर्व-प्रशिक्षण ने इसे उत्तरदायी प्रश्नों पर लगभग मानव-स्तरीय प्रदर्शन और अनुत्तरित प्रश्नों पर काफी बेहतर प्रदर्शन प्राप्त करने की अनुमति दी, जिससे एक नया स्टेट ऑफ द आर्ट स्थापित हुआ।
मूल्यांकन और महत्व
SQuAD 2.0 को अपने पूर्ववर्ती की तुलना में अधिक चुनौतीपूर्ण और यथार्थवादी बेंचमार्क माना जाता है। अनुत्तरित प्रश्नों का समावेश एक मॉडल की तार्किक तर्क करने और प्रासंगिक और अप्रासंगिक जानकारी के बीच अंतर करने की क्षमता का परीक्षण करता है। एक मॉडल जो हर प्रश्न के लिए उत्तर का अनुमान लगाता है, वह खराब स्कोर करेगा, क्योंकि यह सभी अनुत्तरित उदाहरणों पर विफल हो जाएगा। बेंचमार्क का उपयोग पारंपरिक फीचर-आधारित प्रणालियों से लेकर आधुनिक बड़े भाषा मॉडल तक कई प्रकार के मॉडलों की तुलना करने के लिए किया गया है। 2024 तक, SQuAD 2.0 पर सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल 90% से अधिक EM स्कोर प्राप्त करते हैं, जो मानव प्रदर्शन को पार करते हैं, जो लगभग 86.8% EM अनुमानित है। हालाँकि, इन उच्च स्कोरों के बावजूद, शोधकर्ता ध्यान देते हैं कि मॉडल अभी भी भंगुर हो सकते हैं और प्रतिकूल उदाहरणों या वितरण से बाहर के डेटा पर विफल हो सकते हैं। SQuAD 2.0 पठन समझ के मूल्यांकन के लिए एक मौलिक संसाधन बना हुआ है और शोध पत्रों में उद्धृत किया जाता रहता है और कृत्रिम बुद्धिमत्ता पर शैक्षणिक पाठ्यक्रमों में उपयोग किया जाता है।
सीमाएँ और भविष्य की दिशाएँ
व्यापक उपयोग के बावजूद, SQuAD 2.0 की सीमाएँ हैं। डेटासेट निष्कर्षणात्मक है, जिसका अर्थ है कि उत्तर पाठ से एक सन्निहित अंश होना चाहिए, जो कई आधुनिक प्रश्नोत्तर प्रणालियों की उत्पादक प्रकृति को प्रतिबिंबित नहीं करता है। यह विकिपीडिया लेखों पर भी निर्भर करता है, जिनकी एक विशेष शैली और संरचना होती है, जो संभावित रूप से अन्य डोमेन में सामान्यीकरण को सीमित करती है। इसके अलावा, अनुत्तरित प्रश्न, हालांकि सावधानीपूर्वक तैयार किए गए हैं, वास्तविक दुनिया के प्रश्नों की जटिलता को पूरी तरह से पकड़ नहीं सकते हैं, जो अस्पष्ट हो सकते हैं या कई स्रोतों से जानकारी के संश्लेषण की आवश्यकता हो सकती है। प्रतिक्रिया में, नए बेंचमार्क जैसे कि नेचुरल क्वेश्चन और RACE पेश किए गए हैं, लेकिन SQuAD 2.0 एक प्रमुख संदर्भ बिंदु बना हुआ है। भविष्य के शोध दिशाओं में ऐसे मॉडल विकसित करना शामिल है जो खुले-अंत वाले प्रश्नों को संभाल सकें, अपने उत्तरों के लिए स्पष्टीकरण प्रदान कर सकें, और मजबूती से पता लगा सकें कि उनके पास पर्याप्त जानकारी कब नहीं है, जो SQuAD 2.0 द्वारा रखी गई नींव पर निर्माण करते हैं।