WikiHop एक मशीन रीडिंग कॉम्प्रिहेंशन डेटासेट है, जिसे कृत्रिम बुद्धिमत्ता प्रणालियों में मल्टी-हॉप तर्क क्षमताओं का मूल्यांकन और उन्नति करने के लिए डिज़ाइन किया गया है। 2016 में यूनिवर्सिटी कॉलेज लंदन और डीपमाइंड के शोधकर्ताओं द्वारा पेश किया गया, यह डेटासेट पहले के रीडिंग कॉम्प्रिहेंशन बेंचमार्क की एक मूलभूत सीमा को संबोधित करने के लिए बनाया गया था: एक ही प्रश्न का उत्तर देने के लिए कई दस्तावेजों में तर्क करने की आवश्यकता। सरल डेटासेट के विपरीत, जहां उत्तर एक ही अनुच्छेद में निहित होता है, WikiHop के लिए मॉडलों को कई अलग-अलग स्रोतों से जानकारी एकत्र करने और संश्लेषित करने की आवश्यकता होती है, जो मनुष्यों द्वारा किसी विषय पर शोध करते समय किए जाने वाले जटिल, साक्ष्य-संग्रह तर्क की नकल करता है।
डेटासेट का निर्माण विकिपीडिया लेखों से किया गया था, जिसमें प्रत्येक उदाहरण में एक प्रश्न, सहायक दस्तावेजों का एक सेट और उम्मीदवार उत्तरों का एक सेट शामिल होता है। प्रश्नों को इस तरह डिज़ाइन किया गया है कि कोई भी एक दस्तावेज़ पूरा उत्तर नहीं देता; इसके बजाय, मॉडल को कई दस्तावेजों में प्रासंगिक जानकारी की पहचान करनी चाहिए और बिंदुओं को जोड़कर सही प्रतिक्रिया का अनुमान लगाना चाहिए। उदाहरण के लिए, एक प्रश्न किसी ऐसे व्यक्ति की राष्ट्रीयता के बारे में पूछ सकता है जिसका उल्लेख एक लेख में है, जिसका उत्तर उस व्यक्ति के जन्मस्थान के बारे में किसी अन्य लेख की जानकारी की आवश्यकता होती है। यह संरचना मॉडलों को मल्टी-हॉप तर्क करने के लिए मजबूर करती है, जहां प्रत्येक हॉप अनुमान के एक चरण से मेल खाता है जो एक साक्ष्य को दूसरे से जोड़ता है।
निर्माण और डिज़ाइन
WikiHop के निर्माण में एक अर्ध-स्वचालित पाइपलाइन शामिल थी। शोधकर्ताओं ने जीवनी, घटनाओं और संस्थाओं सहित विविध विषयों पर विकिपीडिया लेखों का चयन करके शुरुआत की। फिर उन्होंने प्रश्न और उम्मीदवार उत्तर उत्पन्न करने के लिए टेम्पलेट्स के एक सेट का उपयोग किया। प्रत्येक प्रश्न के लिए, उन्होंने 'सहायक' दस्तावेजों का एक सेट पहचाना जिसमें सामूहिक रूप से आवश्यक जानकारी शामिल थी। डेटासेट की एक प्रमुख विशेषता 'तुच्छ उत्तरों को दबाने' पर इसका ध्यान केंद्रित है: उम्मीदवार उत्तरों में प्रशंसनीय व्याकुलता शामिल हैं जो दस्तावेजों में मौजूद हैं लेकिन सही उत्तर नहीं हैं, जो मॉडलों को सरल शाब्दिक मिलान पर भरोसा करने के बजाय सावधानी से तर्क करने के लिए मजबूर करता है।
डेटासेट दो संस्करणों में जारी किया गया था: WikiHop (मूल) और WikiHop (मास्क्ड)। मास्क्ड संस्करण उम्मीदवार उत्तर विकल्पों को हटा देता है, जिससे मॉडलों को सीधे उत्तर उत्पन्न करने की आवश्यकता होती है, जो एक कठिन कार्य है। मूल संस्करण में प्रशिक्षण के लिए 43,738 प्रश्न, सत्यापन के लिए 5,129 और परीक्षण के लिए 2,451 प्रश्न हैं, जिनमें प्रति प्रश्न औसतन लगभग 4.5 सहायक दस्तावेज हैं। प्रश्न इतिहास और भूगोल से लेकर विज्ञान और लोकप्रिय संस्कृति तक कई क्षेत्रों में फैले हुए हैं।
महत्व और प्रभाव
WikiHop Machine learning और Deep learning मॉडलों में मल्टी-हॉप तर्क के मूल्यांकन के लिए एक मानक बेंचमार्क बन गया। इसने प्रारंभिक तंत्रिका रीडिंग कॉम्प्रिहेंशन प्रणालियों की क्षमताओं में एक महत्वपूर्ण अंतर को उजागर किया, जो अक्सर एकल-दस्तावेज़ कार्यों में उत्कृष्ट प्रदर्शन करते थे लेकिन कई स्रोतों से जानकारी को एकीकृत करने की आवश्यकता होने पर संघर्ष करते थे। डेटासेट ने नए आर्किटेक्चर और प्रशिक्षण तकनीकों के विकास को प्रेरित किया, जिसमें मेमोरी-ऑगमेंटेड नेटवर्क और ग्राफ-आधारित तर्क मॉडल शामिल हैं, जिन्हें दस्तावेजों में साक्ष्य को स्पष्ट रूप से ट्रैक करने और संयोजित करने के लिए डिज़ाइन किया गया था।
बेंचमार्क ने बाद के डेटासेट के डिज़ाइन को भी प्रभावित किया, जैसे कि HotpotQA और MultiHop, जिन्होंने मल्टी-हॉप तर्क चुनौती को और परिष्कृत किया। WikiHop का बहु-दस्तावेज़ तर्क पर जोर Large language model के विकास के लिए विशेष रूप से प्रासंगिक रहा है, क्योंकि इन मॉडलों का उपयोग तेजी से उन कार्यों के लिए किया जा रहा है जिनमें विविध स्रोतों से जानकारी को संश्लेषित करने की आवश्यकता होती है, जैसे कि ओपन-डोमेन प्रश्न उत्तर और तथ्य-जांच।
सीमाएं और आलोचनाएं
अपने प्रभाव के बावजूद, WikiHop को आलोचना का सामना करना पड़ा है। कुछ शोधकर्ताओं ने नोट किया कि डेटासेट के प्रश्नों का उत्तर कभी-कभी वास्तविक मल्टी-हॉप तर्क के बिना, सतही संकेतों, जैसे कि इकाई सह-घटना, का उपयोग करके दिया जा सकता था। उम्मीदवार उत्तर अक्सर सहायक दस्तावेजों में मौजूद होते थे, जिससे मॉडल सरल पैटर्न मिलान का उपयोग कर सकते थे। इसके अतिरिक्त, टेम्पलेट्स से उत्पन्न प्रश्नों की कृत्रिम प्रकृति का मतलब था कि वे वास्तविक दुनिया के प्रश्नों की जटिलता और अस्पष्टता को पूरी तरह से कैप्चर नहीं करते थे। इन सीमाओं ने इस बढ़ती मान्यता को जन्म दिया कि अधिक चुनौतीपूर्ण और यथार्थवादी बेंचमार्क की आवश्यकता है, जिससे अधिक प्राकृतिक भाषा और अधिक जटिल तर्क आवश्यकताओं वाले डेटासेट का निर्माण हुआ।
एक और सीमा आधुनिक बेंचमार्क की तुलना में डेटासेट का अपेक्षाकृत छोटा पैमाना है, जो ओवरफिटिंग का कारण बन सकता है। परिणामस्वरूप, WikiHop का उपयोग अक्सर मॉडल की तर्क क्षमताओं का अधिक व्यापक मूल्यांकन प्रदान करने के लिए अन्य डेटासेट के साथ किया जाता है।
विरासत और निरंतर प्रासंगिकता
अपनी उम्र के बावजूद, WikiHop Neural network मॉडलों की तर्क क्षमताओं की जांच के लिए एक उपयोगी उपकरण बना हुआ है। इसका उपयोग अक्सर Artificial intelligence व्याख्यात्मकता पर शोध और Transformer (architecture)-आधारित मॉडलों की विफलता मोड का विश्लेषण करने वाले अध्ययनों में किया जाता है। डेटासेट के डिज़ाइन सिद्धांत, विशेष रूप से बहु-दस्तावेज़ साक्ष्य और व्याकुलता उत्तरों पर इसका ध्यान, ने अधिक परिष्कृत मूल्यांकन ढांचे के विकास को सूचित किया है। 2020 के दशक के मध्य तक, WikiHop का साहित्य में उद्धरण जारी है, और इसकी पद्धति को अन्य क्षेत्रों, जैसे चिकित्सा और कानूनी तर्क, में अनुकूलित किया गया है, जहां मल्टी-हॉप अनुमान आवश्यक है।
डेटासेट Natural language processing बेंचमार्क के विकास में एक ऐतिहासिक मार्कर के रूप में भी कार्य करता है, जो सरल फैक्टॉइड प्रश्न उत्तर से अधिक जटिल, तर्क-गहन कार्यों में बदलाव को दर्शाता है। इसका निर्माण University of Toronto और अन्य संस्थानों के शोधकर्ताओं का एक सहयोगात्मक प्रयास था, जो क्षेत्र की अंतःविषय प्रकृति को दर्शाता है।