StrategyQA एक प्रश्न-उत्तर बेंचमार्क है जिसे कृत्रिम बुद्धिमत्ता प्रणालियों, विशेष रूप से बड़े भाषा मॉडलों, की बहु-चरण तर्क क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है। 2021 में एलन इंस्टीट्यूट फॉर AI और वाशिंगटन विश्वविद्यालय के शोधकर्ताओं द्वारा पेश किया गया, यह डेटासेट 2,780 हाँ/नहीं प्रश्नों से बना है जिनके लिए प्रणालियों को उत्तर तक पहुँचने हेतु अंतर्निहित ज्ञान के कई टुकड़ों को संयोजित करना आवश्यक होता है। तथ्यात्मक स्मरण का परीक्षण करने वाले सरल बेंचमार्कों के विपरीत, StrategyQA प्रश्न जानबूझकर रणनीतिक विघटन की आवश्यकता के लिए निर्मित हैं: एक मॉडल को एक जटिल प्रश्न को छोटे, उत्तर देने योग्य उप-प्रश्नों में तोड़ना होता है और फिर परिणामों का संश्लेषण करना होता है।
यह बेंचमार्क मौजूदा मूल्यांकन विधियों में एक अंतर को संबोधित करने के लिए बनाया गया था, जो अक्सर एकल-चरण पुनर्प्राप्ति या सतही पैटर्न मिलान पर केंद्रित थीं। StrategyQA के प्रश्न विकिपीडिया और अन्य स्रोतों से लिए गए हैं, लेकिन उत्तर किसी एकल अनुच्छेद में सीधे नहीं बताए गए हैं। उदाहरण के लिए, "क्या एक 50-इंच टीवी 2004 मिनी कूपर में फिट होगा?" जैसा प्रश्न दोनों वस्तुओं के आयामों के बारे में तर्क की आवश्यकता रखता है, जो अंतर्निहित ज्ञान और बहु-चरण अनुमान से जुड़ा एक कदम है। प्रत्येक प्रश्न के साथ "सहायक तथ्यों" का एक सेट दिया गया है जो आवश्यक पृष्ठभूमि जानकारी प्रदान करता है, लेकिन मॉडल को इन तथ्यों को सही ढंग से पहचानना और संयोजित करना होता है।
डिज़ाइन और निर्माण
StrategyQA डेटासेट एक बहु-चरण प्रक्रिया के माध्यम से बनाया गया था जिसमें स्वचालित और मानवीय प्रयास दोनों शामिल थे। निर्माताओं ने पहले क्राउड वर्करों से "रणनीति प्रश्नों" का एक सेट एकत्र किया, जिन्हें बहु-चरण तर्क की आवश्यकता वाले प्रश्न पूछने के लिए कहा गया था। इन प्रश्नों को फिर एनोटेटरों द्वारा उप-प्रश्नों में विघटित किया गया, जिससे तर्क चरणों का एक ग्राफ बना। अंतिम डेटासेट में 2,780 प्रश्न शामिल हैं, प्रत्येक के साथ औसतन 2.7 सहायक तथ्य और हाँ या नहीं का एक स्वर्ण उत्तर है। प्रश्न विज्ञान, इतिहास, प्रौद्योगिकी, और दैनिक जीवन सहित विषयों की एक विस्तृत श्रृंखला में फैले हैं, जिससे यह सुनिश्चित होता है कि मॉडल डोमेन-विशिष्ट शॉर्टकटों पर भरोसा नहीं कर सकते।
StrategyQA की एक विशिष्ट विशेषता इसका "अंतर्निहित" तर्क पर ध्यान केंद्रित करना है। HotpotQA जैसे डेटासेटों के विपरीत, जहां आवश्यक साक्ष्य स्पष्ट रूप से कई अनुच्छेदों में प्रदान किया जाता है, StrategyQA के लिए मॉडल को अपने स्वयं के ज्ञान आधार पर आकर्षित करना आवश्यक होता है। यह बेंचमार्क को उन मॉडलों के लिए विशेष रूप से चुनौतीपूर्ण बनाता है जिनमें व्यापक विश्व ज्ञान या बहु-चरण अनुमान करने की क्षमता का अभाव है। डेटासेट में 489 प्रश्नों का एक सत्यापन सेट और 2,291 प्रश्नों का एक परीक्षण सेट भी शामिल है, जिसमें परीक्षण सेट को ओवरफिटिंग रोकने के लिए निजी रखा गया है।
मूल्यांकन और मेट्रिक्स
StrategyQA के लिए प्राथमिक मेट्रिक हाँ/नहीं उत्तर भविष्यवाणी पर सटीकता है। प्रारंभिक मूल्यांकनों ने दिखाया कि उस समय के अत्याधुनिक मॉडल, जैसे T5 ट्रांसफॉर्मर के फाइन-ट्यून संस्करण, लगभग 66% सटीकता प्राप्त करते थे, जो अनुमानित मानव प्रदर्शन के 87% से काफी नीचे थी। यह अंतर बहु-चरण तर्क की कठिनाई को उजागर करता था और मॉडल आर्किटेक्चरों और प्रशिक्षण तकनीकों में आगे अनुसंधान को प्रेरित करता था। बाद के मॉडल, जिनमें GPT-3 आर्किटेक्चर पर आधारित मॉडल शामिल थे, ने प्रदर्शन में सुधार किया लेकिन फिर भी मानव-स्तरीय तर्क से कम रहे। 2023 तक, सर्वश्रेष्ठ प्रणालियाँ, जिनमें अक्सर पुनर्प्राप्ति-वर्धित जनरेशन या चेन-ऑफ-थॉट प्रॉम्प्टिंग शामिल होती है, मध्य-70s से निम्न 80s तक सटीकता स्तरों तक पहुँच गई हैं, लेकिन बेंचमार्क सामान्य तर्क क्षमताओं के लिए एक चुनौतीपूर्ण परीक्षण बना हुआ है।
प्रभाव और महत्व
StrategyQA Artificial intelligence और Machine learning समुदायों में, विशेष रूप से Large language modelों के मूल्यांकन के लिए, एक व्यापक रूप से उपयोग किया जाने वाला बेंचमार्क बन गया है। बहु-चरण तर्क पर इसका जोर चेन-ऑफ-थॉट प्रॉम्प्टिंग जैसी तकनीकों के विकास को प्रभावित करता है, जहां मॉडलों को अंतिम उत्तर उत्पन्न करने से पहले मध्यवर्ती तर्क चरण उत्पन्न करने के लिए प्रोत्साहित किया जाता है। बेंचमार्क का उपयोग Transformer (architecture)-आधारित मॉडलों की सीमाओं का अध्ययन करने के लिए भी किया गया है, जिससे पता चलता है कि वे अक्सर वास्तविक तर्क के बजाय सतही सहसंबंधों पर भरोसा करते हैं। इससे न्यूरो-सिम्बोलिक दृष्टिकोणों और बाहरी ज्ञान स्रोतों के एकीकरण में बढ़ती रुचि पैदा हुई है।
डेटासेट को व्यापक मूल्यांकन सुइटों में भी शामिल किया गया है, जैसे BIG-bench बेंचमार्क, जो मॉडल क्षमताओं का आकलन करने के लिए कई कार्यों को एकत्र करता है। इसका डिज़ाइन अन्य डोमेनों में समान बेंचमार्कों को प्रेरित करता है, जिनमें वैज्ञानिक तर्क और सामान्य ज्ञान प्रश्नोत्तर शामिल हैं। शोधकर्ताओं ने नोट किया है कि StrategyQA प्रश्नों में अक्सर "ओपन-डोमेन" ज्ञान की आवश्यकता होती है, जिसका अर्थ है कि मॉडलों को उनकी प्रशिक्षण डेटा में मौजूद नहीं जानकारी तक पहुँचना होता है, जिसका पुनर्प्राप्ति-वर्धित प्रणालियों के विकास पर प्रभाव पड़ता है।
सीमाएँ और आलोचनाएँ
अपनी लोकप्रियता के बावजूद, StrategyQA को कई आलोचनाओं का सामना करना पड़ा है। कुछ शोधकर्ताओं का तर्क है कि हाँ/नहीं प्रारूप तर्क प्रक्रिया को अति-सरल बनाता है, क्योंकि मॉडल अनुमान लगाने या डेटासेट में पूर्वाग्रहों का शोषण करने के माध्यम से मध्यम सटीकता प्राप्त कर सकते हैं। उदाहरण के लिए, हाँ/नहीं उत्तरों का वितरण पूर्ण रूप से संतुलित नहीं है, और कुछ प्रश्नों में शाब्दिक संकेत होते हैं जो अनजाने में मॉडलों का मार्गदर्शन कर सकते हैं। इसके अतिरिक्त, डेटासेट में प्रदान किए गए सहायक तथ्य प्रश्न का उत्तर देने के लिए हमेशा पर्याप्त नहीं होते, जिससे मॉडलों को बाहरी ज्ञान पर भरोसा करना पड़ता है जो असंगत या पुराना हो सकता है।
एक और सीमा डेटा संदूषण की संभावना है, क्योंकि प्रश्न सार्वजनिक स्रोतों से लिए गए हैं और बड़े भाषा मॉडलों के प्रशिक्षण कोरपोरा में दिखाई दे सकते हैं। यह प्रदर्शन मेट्रिक्स को बढ़ा सकता है और वास्तविक तर्क क्षमता को अस्पष्ट कर सकता है। इसे कम करने के लिए, कुछ शोधकर्ताओं ने गतिशील बेंचमार्क प्रस्तावित किए हैं जो मौके पर नए प्रश्न उत्पन्न करते हैं, लेकिन StrategyQA एक स्थैतिक संसाधन बना हुआ है। इन मुद्दों के बावजूद, बेंचमार्क मॉडल कमजोरियों का निदान करने और बहु-चरण तर्क अनुसंधान में प्रगति को चलाने के लिए एक मूल्यवान उपकरण बना हुआ है।
भविष्य की दिशाएँ
StrategyQA से प्राप्त पाठों ने नए बेंचमार्कों के डिज़ाइन को सूचित किया है जिनका उद्देश्य अधिक मजबूत और व्यापक होना है। उदाहरण के लिए, StrategyQA फ्रेमवर्क को बहु-विकल्प प्रश्नों और ओपन-एंडेड जनरेशन कार्यों को शामिल करने के लिए विस्तारित किया गया है, जिनके लिए मॉडलों को केवल लेबल के बजाय स्पष्टीकरण उत्पन्न करना आवश्यक होता है। विशेष डोमेनों में, जैसे वैज्ञानिक खोज और कानूनी विश्लेषण, मॉडलों की तर्क क्षमताओं का मूल्यांकन करने के लिए StrategyQA का उपयोग करने में भी बढ़ती रुचि है। जैसे-जैसे Generative AI प्रणालियाँ अधिक सक्षम होती जाती हैं, StrategyQA जैसे बेंचमार्क संभवतः अधिक जटिल तर्क श्रृंखलाओं को शामिल करने के लिए विकसित होंगे, जिनमें लौकिक और कारणात्मक तर्क शामिल है, ताकि मॉडल प्रगति के साथ गति बनाए रखी जा सके।
Deep learning अनुसंधान के व्यापक संदर्भ में, StrategyQA पैटर्न पहचान से परे वास्तविक समझ की ओर बढ़ने के महत्व को रेखांकित करता है। बेंचमार्क ने व्याख्यात्मकता, प्रॉम्प्टिंग रणनीतियों, और न्यूरल नेटवर्कों के साथ सिम्बोलिक तर्क के एकीकरण पर कार्य को उत्प्रेरित किया है। जबकि कोई भी मॉडल अभी तक StrategyQA पर मानव-स्तरीय प्रदर्शन हासिल नहीं कर पाया है, बेंचमार्क बुद्धिमत्ता के सबसे मौलिक पहलुओं में से एक: चरण-दर-चरण तर्क करने की क्षमता, में प्रगति को मापने के लिए एक महत्वपूर्ण मापदंड बना हुआ है।