Charades दैनिक गतिविधि पहचान के लिए एक बड़े पैमाने का डेटासेट है, जिसमें 267 उपयोगकर्ताओं से एकत्रित 9,848 वीडियो शामिल हैं। यह डेटासेट 2016 में कार्नेगी मेलन विश्वविद्यालय और टोरंटो विश्वविद्यालय के शोधकर्ताओं द्वारा पेश किया गया था, और यह घरेलू वातावरण में किए जाने वाले रोजमर्रा के कार्यों की पहचान पर केंद्रित है। प्रत्येक वीडियो को कई एक्शन लेबल के साथ एनोटेट किया गया है, जो कंप्यूटर विज़न के क्षेत्र में मशीन लर्निंग मॉडल को प्रशिक्षित और मूल्यांकन करने के लिए एक समृद्ध संसाधन प्रदान करता है।
यह डेटासेट पहले के गतिविधि पहचान बेंचमार्क की सीमाओं को संबोधित करने के लिए बनाया गया था, जिनमें अक्सर निर्देशित या स्क्रिप्टेड क्रियाएं होती थीं। Charades सहज, अनस्क्रिप्टेड गतिविधियों जैसे खाना पकाना, सफाई करना और पढ़ना को कैप्चर करता है, जिससे यह वास्तविक दुनिया के अनुप्रयोगों के लिए एक अधिक यथार्थवादी बेंचमार्क बन जाता है। वीडियो के साथ पाठ्य विवरण और एक्शन लेबल भी शामिल हैं, जो दृश्य पहचान और भाषा ग्राउंडिंग दोनों में शोध को सक्षम बनाता है।
डेटासेट संरचना
Charades में 9,848 वीडियो हैं, जिनकी औसत अवधि लगभग 30 सेकंड है, जो कुल मिलाकर लगभग 82 घंटे की फुटेज बनाती है। डेटासेट में 157 एक्शन क्लास शामिल हैं, जो "रेफ्रिजरेटर खोलना," "टीवी देखना," और "फोन का उपयोग करना" जैसी दैनिक गतिविधियों की एक विस्तृत श्रृंखला को कवर करते हैं। प्रत्येक वीडियो को कई एक्शन इंस्टेंस के साथ एनोटेट किया गया है, और एनोटेशन में अस्थायी सीमाएं शामिल हैं, जो फ्रेम-स्तरीय एक्शन पहचान की अनुमति देती हैं।
वीडियो अमेज़न मैकेनिकल टर्क के माध्यम से एकत्र किए गए थे, जहां प्रतिभागियों को अपने घरों में गतिविधियाँ करते हुए खुद को रिकॉर्ड करने के लिए कहा गया था। इस क्राउडसोर्स्ड दृष्टिकोण के परिणामस्वरूप विविध वातावरण, प्रकाश की स्थिति और कैमरा कोण प्राप्त हुए, जो पहचान कार्य की कठिनाई को बढ़ाते हैं। डेटासेट में 27,847 वीडियो विवरण भी शामिल हैं, जिनका उपयोग वीडियो कैप्शनिंग और पुनर्प्राप्ति जैसे कार्यों के लिए किया जाता है।
मूल्यांकन और बेंचमार्क
Charades का उपयोग आमतौर पर एक्शन पहचान मॉडल, विशेष रूप से डीप लर्निंग पर आधारित मॉडल को बेंचमार्क करने के लिए किया जाता है। मानक मूल्यांकन मीट्रिक सभी एक्शन क्लास में माध्य औसत परिशुद्धता (mAP) है, जिसकी गणना वीडियो स्तर पर की जाती है। शोधकर्ता अक्सर Charades v1 स्प्लिट पर परिणाम रिपोर्ट करते हैं, जिसमें 7,984 प्रशिक्षण वीडियो और 1,864 परीक्षण वीडियो शामिल हैं।
कई उल्लेखनीय मॉडलों का Charades पर मूल्यांकन किया गया है, जिनमें टू-स्ट्रीम कन्वोल्यूशनल नेटवर्क, टेम्पोरल सेगमेंट नेटवर्क और हाल ही में ट्रांसफॉर्मर-आधारित आर्किटेक्चर शामिल हैं। डेटासेट का उपयोग मल्टी-लेबल वर्गीकरण का अध्ययन करने के लिए भी किया गया है, क्योंकि प्रत्येक वीडियो में कई समवर्ती क्रियाएं हो सकती हैं। 2025 तक, अत्याधुनिक मॉडल 60% से अधिक mAP स्कोर प्राप्त करते हैं, लेकिन डेटासेट अपनी यथार्थवादी और शोर-युक्त प्रकृति के कारण चुनौतीपूर्ण बना हुआ है।
कृत्रिम बुद्धिमत्ता में अनुप्रयोग
Charades ने Artificial intelligence शोध को आगे बढ़ाने में महत्वपूर्ण भूमिका निभाई है, विशेष रूप से Machine learning और Deep learning के क्षेत्रों में। इसका व्यापक रूप से वीडियो समझ के लिए मॉडल प्रशिक्षित करने में उपयोग किया जाता है, जो निगरानी, मानव-कंप्यूटर इंटरैक्शन और रोबोटिक्स जैसे अनुप्रयोगों का एक प्रमुख घटक है। डेटासेट Neural network आर्किटेक्चर में शोध का भी समर्थन करता है, जिसमें Residual Network (ResNet) और Transformer (architecture) मॉडल शामिल हैं।
एक्शन पहचान के अलावा, Charades का उपयोग अस्थायी एक्शन स्थानीयकरण जैसे कार्यों के लिए किया गया है, जहां मॉडल को यह पहचानना होता है कि वीडियो में क्रियाएं कब होती हैं। इसे मल्टीमॉडल लर्निंग में भी नियोजित किया गया है, जो दृश्य और पाठ्य जानकारी को जोड़ता है। डेटासेट के एनोटेशन वीडियो कैप्शनिंग के लिए Sequence-to-Sequence (Seq2Seq) मॉडल में शोध को सक्षम बनाते हैं, जहां लक्ष्य गतिविधियों के प्राकृतिक भाषा विवरण उत्पन्न करना है।
संबंधित डेटासेट और प्रभाव
Charades गतिविधि पहचान डेटासेट के व्यापक परिवार का हिस्सा है, जिसमें UCF101, ActivityNet और Kinetics शामिल हैं। इन डेटासेट के विपरीत, जिनमें अक्सर छोटे, ट्रिम किए गए क्लिप होते हैं, Charades लंबे, अनट्रिम किए गए वीडियो प्रदान करता है जो वास्तविक दुनिया की स्थितियों को बेहतर ढंग से दर्शाते हैं। इसने इसे अस्थायी निर्भरता और शोर इनपुट को संभालने में सक्षम मजबूत मॉडल विकसित करने के लिए एक मूल्यवान संसाधन बना दिया है।
डेटासेट को सैकड़ों शोध पत्रों में उद्धृत किया गया है और इसने बाद के बेंचमार्क के डिजाइन को प्रभावित किया है, जैसे Charades-Ego डेटासेट, जो अहंकारी वीडियो पर केंद्रित है। Charades का उपयोग प्रमुख सम्मेलनों में चुनौतियों में भी किया गया है, जिसमें ActivityNet लार्ज स्केल एक्टिविटी रिकग्निशन चैलेंज शामिल है, जो शिक्षा और उद्योग के बीच सहयोग को बढ़ावा देता है।
सीमाएं और भविष्य की दिशाएं
अपनी ताकत के बावजूद, Charades की सीमाएं हैं। वीडियो गैर-पेशेवरों द्वारा रिकॉर्ड किए जाते हैं, जिससे गुणवत्ता में परिवर्तनशीलता और कभी-कभी एनोटेशन त्रुटियां होती हैं। एक्शन क्लास दैनिक गतिविधियों तक सीमित हैं, जो खेल या चिकित्सा प्रक्रियाओं जैसे अन्य डोमेन में सामान्यीकृत नहीं हो सकते हैं। इसके अतिरिक्त, डेटासेट नए बेंचमार्क की तुलना में अपेक्षाकृत छोटा है, जो बहुत बड़े मॉडल के प्रशिक्षण को सीमित कर सकता है।
भविष्य के शोध डेटासेट का विस्तार करके या इसे सिंथेटिक डेटा के साथ जोड़कर इन सीमाओं को संबोधित कर सकते हैं। Generative AI और Large language model के उदय ने मल्टीमॉडल तर्क कार्यों में Charades का उपयोग करने के नए रास्ते भी खोले हैं, जहां मॉडल को दृश्य और पाठ्य दोनों जानकारी को समझना होता है। 2025 तक, Charades वीडियो समझ में प्रगति का मूल्यांकन करने के लिए एक मानक बेंचमार्क बना हुआ है।