SciTail

SciTail प्राकृतिक भाषा अनुमान (NLI) के लिए एक बेंचमार्क डेटासेट है, जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या कोई सिस्टम यह निर्धारित कर सकता है कि कोई वैज्ञानिक कथन (परिकल्पना) दिए गए आधार से निहित है या नहीं। वाशिंगटन विश्वविद्यालय और एलन इंस्टीट्यूट फॉर आर्टिफिशियल इंटेलिजेंस के शोधकर्ताओं द्वारा निर्मित, यह डेटासेट 2018 में सामान्य-उद्देश्य वाले NLI डेटासेट और विज्ञान शिक्षा की विशेष भाषा के बीच के अंतर को संबोधित करने के लिए पेश किया गया था। इसमें 27,026 आधार-परिकल्पना जोड़े शामिल हैं, जहाँ प्रत्येक परिकल्पना एक विज्ञान परीक्षा से एक प्रश्न का उत्तर है, और प्रत्येक आधार एक विज्ञान पाठ्यपुस्तक या वेब स्रोत से प्राप्त एक प्रासंगिक वाक्य है। कार्य प्रत्येक जोड़े को "निहित" (आधार परिकल्पना का समर्थन करता है) या "निहित नहीं" (यह नहीं करता) के रूप में वर्गीकृत करना है।

SNLI या MultiNLI जैसे पहले के NLI डेटासेट के विपरीत, जिनमें अक्सर स्पष्ट विरोधाभास या कृत्रिम उदाहरण होते हैं, SciTail सूक्ष्म, वास्तविक दुनिया के वैज्ञानिक तर्क पर केंद्रित है। परिकल्पनाएँ प्राथमिक और मध्य विद्यालय के विज्ञान परीक्षणों में बहुविकल्पीय प्रश्नों से ली गई हैं, जो भौतिकी, जीव विज्ञान, पृथ्वी विज्ञान और रसायन विज्ञान जैसे विषयों को कवर करती हैं। आधार विज्ञान ग्रंथों के एक कोष से चुने गए हैं, और निहितार्थ संबंध अक्सर अप्रत्यक्ष होते हैं, जिसके लिए पृष्ठभूमि ज्ञान और शाब्दिक भिन्नता, व्याख्या और तार्किक अनुमान को संभालने की क्षमता की आवश्यकता होती है। डेटासेट को प्रशिक्षण (23,596 जोड़े), विकास (1,304 जोड़े) और परीक्षण (2,126 जोड़े) सेटों में विभाजित किया गया है, जिसमें निहितार्थ लेबल का संतुलित वितरण है (लगभग 50% सकारात्मक और 50% नकारात्मक)।

निर्माण और एनोटेशन

SciTail के निर्माण में एक अर्ध-स्वचालित पाइपलाइन शामिल थी। पहले, प्रत्येक सही उत्तर को प्रश्न के मूल के साथ जोड़कर परीक्षा प्रश्नों से परिकल्पनाएँ उत्पन्न की गईं। फिर, प्रत्येक परिकल्पना के लिए, सूचना पुनर्प्राप्ति तकनीकों का उपयोग करके विज्ञान पाठ्यपुस्तकों और वेब पृष्ठों के एक बड़े कोष से उम्मीदवार आधार प्राप्त किए गए। मानव एनोटेटरों ने फिर प्रत्येक उम्मीदवार जोड़े को निहित या निहित नहीं के रूप में लेबल किया, स्थिरता सुनिश्चित करने के लिए सख्त दिशानिर्देशों का पालन किया। एनोटेशन प्रक्रिया पुनरावृत्त थी, जिसमें उच्च अंतर-एनोटेटर सहमति बनाए रखने के लिए प्रशिक्षण और प्रतिक्रिया के कई दौर शामिल थे, जो कोहेन के कप्पा 0.82 तक पहुँच गया। अंतिम डेटासेट में केवल वे जोड़े शामिल हैं जहाँ एनोटेटर सर्वसम्मति पर पहुँचे, जिससे उच्च-गुणवत्ता वाले लेबल सुनिश्चित हुए।

प्राकृतिक भाषा अनुमान में महत्व

SciTail प्राकृतिक-भाषा-अनुमान मॉडलों के मूल्यांकन के लिए एक मानक बेंचमार्क बन गया है, विशेष रूप से उन मॉडलों के लिए जो डोमेन-विशिष्ट तर्क के लिए डिज़ाइन किए गए हैं। यह मॉडलों को सतही शाब्दिक मिलान से परे जाने और गहन शब्दार्थ विश्लेषण करने की चुनौती देता है। डेटासेट का उपयोग अक्सर सामान्यीकरण का परीक्षण करने के लिए अन्य NLI बेंचमार्क के साथ संयोजन में किया जाता है, क्योंकि यह सामान्य-उद्देश्य वाले डेटासेट की तुलना में भाषाई घटनाओं का एक अलग वितरण प्रदर्शित करता है। उदाहरण के लिए, वैज्ञानिक भाषा में अक्सर तकनीकी शब्द, कारण संबंध और मात्रात्मक तुलनाएँ शामिल होती हैं, जो रोजमर्रा के पाठ में कम आम हैं। परिणामस्वरूप, सामान्य NLI डेटा पर प्रशिक्षित मॉडल अक्सर SciTail पर प्रदर्शन में महत्वपूर्ण गिरावट दिखाते हैं, जो डोमेन अनुकूलन और विशेष प्रशिक्षण की आवश्यकता को उजागर करता है।

मशीन लर्निंग मॉडल का प्रदर्शन

अपनी रिलीज़ के बाद से, SciTail का उपयोग Machine learning और Deep learning मॉडलों की एक विसयापक शरृंखला का मूल्यांकन करने के लिए किया गया है। Neural network आरकिटेक्चर का उपयोग करने वाले शुरुआती बेसलाइन, जैसे कि विघटनीय ध्यान मॉडल और उन्नत अनुक्रमिक अनुमान मॉडल, ने उच्च 80 से निम्न 90 के दशक में सटीकता हासिल की। हाल के दृष्टिकोणों ने Transformer (architecture)-आधारित आरकिटेक्चर को शामिल किया है, जिसमें Large language model शामिल हैं, जिन्होंने प्रदर्शन को 95% सटीकता से ऊपर धकेल दिया है। हालाँकि, अत्याधुनिक मॉडल भी कुछ प्रकार के निहितार्थों के साथ संघर्ष करते हैं, विशेष रूप से उन लोगों के लिए जिन्हें बहु-चरणीय तर्क या बाहरी ज्ञान के एकीकरण की आवश्यकता होती है। डेटासेट का उपयोग Data Augmentation तकनीकों के प्रभाव, सामान्य NLI डेटासेट से Transfer learning, और वैज्ञानिक संबंधों को पकड़ने में Multi-Head Attention तंत्र की प्रभावशीलता का अध्ययन करने के लिए भी किया गया है।

विज्ञान प्रश्न उत्तर से संबंध

SciTail विज्ञान प्रश्न उत्तर देने के व्यापक कार्य से निकटता से जुड़ा हुआ है, क्योंकि यह बहुविकल्पीय प्रशनों काउ उत्तर देने के निहितार्थ घटक काउ सीधे संबोधित करता है। डेटासेट का उपयोग अक्सर एंड-टू-एंड प्रश्न-उत्तर प्रणालियों में एक घटक के रूप में किया जाता है, जहाँ एक मॉडल पहले प्रासंगिक साक्ष्य प्राप्त करता है और फिर यह निर्धारित करता है कि क्या वह साक्ष्य किसी उम्मीदवार उत्तर काउ निहितार्थ है। यह दो-चरणीय दृष्टिकोण एलन इंस्टीट्यूट के ARC (AI2 Reasoning Challenge) जैसे बेंचमार्क में भाग लेने वाली प्रणालियों में आम है। SciTail निहितार्थ चरण का अलगाव में मूल्यांकन करने के लिए एक नियंत्रित सेटिंग प्रदान करता है, जिससे शोधकर्ताओं को इस महत्वपूर्ण क्षमता को अलग करने और सुधारने की अनुमति मिलती है। डेटासेट ने चिकित्सा और कानूनी निहितार्थ जैसे अन्य डोमेन में समान प्रयासों को भी प्रेरित किया है, जो क्षेत्र पर इसके प्रभाव को दर्शाता है।

सीमाएँ और भविष्य की दिशाएँ

अपनी उपयोगिता के बावजूद, SciTail की कई सीमाएँ हैं। आधुनिक NLI कोर्पोरा की तुलना में डेटासेट अपेक्षाकृत छोटा है, जो बड़े मॉडलों को प्रशिक्षित करते समय ओवरफिटिंग का कारण बन सकता है। इसके अतिरिक्त, आधार अक्सर छोटे वाक्य होते हैं, और निहितार्थ संबंध कभी कभी तरुच्छह होते हैं, क्योंकि परिकल्पना आधार काउ लगभग वर्ाबीय प्रतिलिpi हो सकती है। इसने कुछछ शोधाकर्ताओं काउ यह तर्k दियाउ है कि SciTail वास्तविक तर्क की तुलना में शाब्दिक अतिव्यापन को अधिक मापता है। इन मुद्दों को संबोधित करने के लिए, भविष्य के काम में अधिक विविध और जटिल उदाहरणों के साथ डेटासेट का विस्तार, बहु-वाक्य आधारों को शामिल करना, या बाहरी ज्ञान आधारों को एकीकृत करना शामिल हो सकता है। डेटासेट बेंचमार्किंग और डोमेन-विशिष्ट Artificial intelligence अनुसंधान में प्रगति काउ चलाने के लिए एक मूल्यवान संसाधन बना हुआ है, विशेष रूप से शैक्षिक प्रौद्योगिकी और स्वचालित ट्यूटरिंग प्रणालियों में।

यह भी देखें

• natural-language-inference
• science-question-answering
• textual-entailment
• decomposable-attention

संदर्भ

• Zellers, R., Bisk, Y., Schwartz, R., & Choi, Y. (2018). SWAG: A Large-Scale Adversarial Dataset for Commonsense Reasoning. (नोट: यह एक संबंधित कार्य है, मूल SciTail पेपर नहीं)
• Khot, T., Sabharwal, A., & Clark, P. (2018). SciTail: A Textual Entailment Dataset from Science Question Answering. Proceedings of AAAI.

(नोट: मूल पेपर तुषार खोट, आशीष सभरवाल और पीटर क्लार्क द्वारा है, जो AAAI 2018 में प्रकाशित हुआ।)