PIQA (Physical Interaction Question Answering) एक बेंचमार्क डेटासेट है जिसे कृत्रिम बुद्धिमत्ता प्रणालियों की भौतिक सामान्य ज्ञान तर्क क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है। 2020 में पेश किया गया, यह रोज़मर्रा के भौतिक संपर्क कार्यों पर केंद्रित है, जैसे कि वस्तुओं का उपयोग कैसे करें या सरल क्रियाएँ कैसे करें। बेंचमार्क मॉडल को एक लक्ष्य और दो संभावित समाधान प्रस्तुत करता है, जिनमें से केवल एक भौतिक रूप से संभव है। PIQA परीक्षण करता है कि क्या कोई मॉडल वास्तविक दुनिया की बुनियादी भौतिकी को समझ सकता है, एक ऐसी क्षमता जो मनुष्यों के लिए अक्सर तुच्छ होती है लेकिन मशीनों के लिए चुनौतीपूर्ण होती है।
डेटासेट टोरंटो विश्वविद्यालय और कार्नेगी मेलन विश्वविद्यालय के शोधकर्ताओं द्वारा बनाया गया था, और इसे पहली बार 2020 में एक प्रमुख सम्मेलन में प्रस्तुत किया गया था। रचनाकारों का उद्देश्य मौजूदा बेंचमार्क में एक अंतर को संबोधित करना था, जो अक्सर भाषा समझ या दृश्य पहचान पर केंद्रित थे, लेकिन उस अंतर्निहित भौतिक ज्ञान पर नहीं जो मनुष्य रोज़ाना उपयोग करते हैं। PIQA को किसी मॉडल की भौतिक दुनिया के बारे में तर्क करने की क्षमता का अधिक प्रत्यक्ष परीक्षण बनाने के लिए डिज़ाइन किया गया था, जो विनोग्राद स्कीमा चैलेंज और फिजिकल रीज़निंग चैलेंज जैसे अन्य बेंचमार्क का पूरक है।
डेटासेट संरचना
PIQA में 16,000 से अधिक बहुविकल्पीय प्रश्न शामिल हैं, जिनमें से प्रत्येक में एक लक्ष्य और दो समाधान हैं। लक्ष्य सरल, रोज़मर्रा के कार्य हैं जैसे "केक कैसे काटें" या "तस्वीर कैसे लटकाएं।" दो समाधान छोटे, प्राकृतिक भाषा विवरण हैं, जिनमें से एक सही है और दूसरा एक संभावित लेकिन गलत विकल्प है। गलत समाधान सही समाधानों के साथ शब्दार्थ रूप से समान होने के लिए डिज़ाइन किए गए हैं, जिससे यह कार्य उन मॉडलों के लिए चुनौतीपूर्ण हो जाता है जो सतही भाषा पैटर्न पर निर्भर करते हैं।
प्रत्येक प्रश्न को एक कठिनाई रेटिंग के साथ भी एनोटेट किया गया है, जो मानव एनोटेटरों द्वारा निर्धारित की गई थी। रेटिंग आसान से कठिन तक होती हैं, जिससे शोधकर्ताओं को विभिन्न जटिलता स्तरों पर मॉडल प्रदर्शन का विश्लेषण करने की अनुमति मिलती है। डेटासेट को प्रशिक्षण, सत्यापन और परीक्षण सेटों में विभाजित किया गया है, जिसमें परीक्षण सेट का उपयोग आधिकारिक मूल्यांकन के लिए किया जाता है। बेंचमार्क सार्वजनिक रूप से उपलब्ध है, और शोधकर्ता लीडरबोर्ड पर मूल्यांकन के लिए अपने मॉडल जमा कर सकते हैं।
मूल्यांकन और मेट्रिक्स
PIQA के लिए प्राथमिक मेट्रिक सटीकता है, जो उन प्रश्नों का प्रतिशत है जहाँ मॉडल सही समाधान चुनता है। चूंकि केवल दो विकल्प हैं, यादृच्छिक अनुमान 50% की सटीकता देगा। बेंचमार्क को चुनौतीपूर्ण बनाने के लिए डिज़ाइन किया गया है, और इसकी शुरुआत के समय, अत्याधुनिक मॉडलों ने लगभग 70-80% की सटीकता हासिल की, जबकि मानव प्रदर्शन लगभग 95% था। इस अंतर ने एआई प्रणालियों के लिए भौतिक सामान्य ज्ञान तर्क की कठिनाई को उजागर किया।
समग्र सटीकता के अलावा, डेटासेट कठिनाई रेटिंग द्वारा विश्लेषण की अनुमति देता है। मॉडल अक्सर आसान प्रश्नों पर बेहतर प्रदर्शन करते हैं लेकिन कठिन प्रश्नों पर संघर्ष करते हैं, जिनके लिए गहन भौतिक तर्क की आवश्यकता होती है। बेंचमार्क शून्य-शॉट और कुछ-शॉट मूल्यांकन का भी समर्थन करता है, जहाँ मॉडल को डेटासेट पर फाइन-ट्यूनिंग के बिना परीक्षण किया जाता है, ताकि उनके पूर्व-मौजूद ज्ञान का आकलन किया जा सके।
एआई अनुसंधान में प्रभाव और उपयोग
PIQA कृत्रिम बुद्धिमत्ता के क्षेत्र में, विशेष रूप से मशीन लर्निंग और प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में, व्यापक रूप से उपयोग किया जाने वाला बेंचमार्क बन गया है। इसे अक्सर बड़े भाषा मॉडल के मूल्यांकन सुइट्स में शामिल किया जाता है, जैसे कि OpenAI, Anthropic, और Google DeepMind द्वारा विकसित। इन मॉडलों का परीक्षण PIQA पर किया जाता है ताकि भौतिक परिदृश्यों के बारे में तर्क करने की उनकी क्षमता को मापा जा सके, जिसे अधिक सामान्य बुद्धिमत्ता की दिशा में एक कदम माना जाता है।
बेंचमार्क का उपयोग वर्तमान मॉडलों की सीमाओं का अध्ययन करने के लिए भी किया गया है। उदाहरण के लिए, शोधकर्ताओं ने पाया है कि मॉडल अक्सर सच्ची भौतिक समझ के बजाय भाषा में सांख्यिकीय नियमितताओं पर निर्भर करते हैं। इससे एआई प्रणालियों में अधिक मजबूत तर्क क्षमताओं की आवश्यकता के बारे में चर्चा हुई है। PIQA ने कारण तर्क या स्थानिक समझ पर केंद्रित समान बेंचमार्क के निर्माण को भी प्रेरित किया है।
सीमाएँ और आलोचनाएँ
जबकि PIQA एक मूल्यवान बेंचमार्क है, इसकी कुछ सीमाएँ हैं। प्रश्न सरल, रोज़मर्रा के कार्यों तक सीमित हैं, और समाधान छोटे पाठ विवरण हैं। इसका मतलब है कि बेंचमार्क भौतिक तर्क की पूर्ण जटिलता को नहीं पकड़ता है, जिसमें अक्सर दृश्य, स्थानिक और लौकिक जानकारी शामिल होती है। कुछ आलोचकों का तर्क है कि PIQA को सच्चे तर्क के बजाय अनुमानों या सामान्य ज्ञान तथ्यों को याद करके हल किया जा सकता है।
इसके अतिरिक्त, डेटासेट 2020 में बनाया गया था, और जैसे-जैसे एआई मॉडल में सुधार हुआ है, PIQA पर उनका प्रदर्शन बढ़ा है। कुछ मॉडल अब 90% से अधिक सटीकता प्राप्त करते हैं, जो मानव प्रदर्शन के करीब पहुँच रहा है। इससे चिंताएँ पैदा हुई हैं कि बेंचमार्क संतृप्त हो रहा है, और अधिक चुनौतीपूर्ण बेंचमार्क की आवश्यकता है जो एआई अनुसंधान की सीमाओं को आगे बढ़ाते रहें।
इन सीमाओं के बावजूद, PIQA एआई में भौतिक सामान्य ज्ञान तर्क को मूल्यांकन और समझने के लिए एक महत्वपूर्ण उपकरण बना हुआ है। इसने एआई प्रणालियों को बनाने के व्यापक प्रयास में योगदान दिया है जो भौतिक दुनिया के साथ बातचीत कर सकते हैं, एक लक्ष्य जो रोबोटिक्स और एम्बोडिएड एआई जैसे क्षेत्रों के लिए केंद्रीय है।