EPIC-KITCHENS एक बड़े पैमाने पर एगोसेंट्रिक वीडियो डेटासेट है, जिसे Artificial intelligence में अनुसंधान के लिए डिज़ाइन किया गया है, विशेष रूप से क्रिया पहचान (action recognition) और क्रिया प्रत्याशा (action anticipation) के क्षेत्रों में। यह डेटासेट दैनिक रसोई गतिविधियों की प्रथम-व्यक्ति (एगोसेंट्रिक) वीडियो रिकॉर्डिंग से बना है, जिसे सिर पर लगे कैमरों से कैप्चर किया गया है। यह पहले-व्यक्ति के दृष्टिकोण से वस्तुओं और वातावरण के साथ मानव अंतःक्रियाओं को समझने वाले एल्गोरिदम विकसित करने और मूल्यांकन करने के लिए एक समृद्ध संसाधन प्रदान करता है।
यह डेटासेट 2018 में ब्रिस्टल विश्वविद्यालय, कैटेनिया विश्वविद्यालय और टोरंटो विश्वविद्यालय के बीच सहयोग से पेश किया गया था। इसमें 32 प्रतिभागियों के अपने रसोईघरों में 55 घंटे से अधिक का वीडियो शामिल है, जो विभिन्न प्रकार के खाना पकाने और तैयारी कार्यों को कैप्चर करता है। वीडियो को क्रिया लेबल के साथ घनीभूत रूप से एनोटेट किया गया है, जिसमें क्रिया और संज्ञा संयोजन (जैसे, 'प्याज काटना', 'पानी डालना') और वस्तु बाउंडिंग बॉक्स शामिल हैं, जो गतिविधियों के सूक्ष्म विश्लेषण को सक्षम बनाता है।
डेटा संग्रह और एनोटेशन
EPIC-KITCHENS डेटासेट को प्रतिभागियों द्वारा प्राकृतिक खाना पकाने के सत्रों के दौरान सिर पर लगे कैमरों (जैसे GoPro) का उपयोग करके रिकॉर्ड किया गया था। रिकॉर्डिंग प्रतिभागियों के अपने घरों में हुई, जो यथार्थवादी और अलिखित परिदृश्य प्रदान करती है। एनोटेशन प्रक्रिया में प्रत्येक वीडियो फ्रेम को मैन्युअल रूप से क्रिया खंडों के साथ लेबल करना, क्रियाओं के प्रारंभ और समाप्ति समय की पहचान करना, और पूर्व-परिभाषित शब्दावली से क्रिया और संज्ञा लेबल निर्दिष्ट करना शामिल था। इसके अतिरिक्त, प्रत्येक फ्रेम के लिए वस्तु बाउंडिंग बॉक्स एनोटेट किए गए थे, जिससे वस्तु पहचान और ट्रैकिंग कार्यों की अनुमति मिलती है।
डेटासेट में एक प्रशिक्षण सेट और एक परीक्षण सेट शामिल है, जिसमें कुल 39,594 क्रिया खंड और 454,714 वस्तु बाउंडिंग बॉक्स हैं। क्रिया लेबल 125 क्रिया वर्गों और 352 संज्ञा वर्गों को कवर करते हैं, जिसके परिणामस्वरूप संभावित क्रियाओं का एक बड़ा संयोजन स्थान बनता है।
बेंचमार्क कार्य और मूल्यांकन
EPIC-KITCHENS एगोसेंट्रिक दृष्टि कार्यों, विशेष रूप से क्रिया पहचान और क्रिया प्रत्याशा के लिए एक मानक बेंचमार्क बन गया है। क्रिया पहचान में किसी दिए गए वीडियो खंड में की जा रही क्रिया को वर्गीकृत करना शामिल है, जबकि क्रिया प्रत्याशा के लिए घटित होने से पहले अगली क्रिया की भविष्यवाणी करना आवश्यक है। डेटासेट वस्तु पहचान, ट्रैकिंग और वीडियो पुनर्प्राप्ति जैसे कार्यों का भी समर्थन करता है।
मूल्यांकन मेट्रिक्स में आमतौर पर क्रिया पहचान के लिए शीर्ष-1 और शीर्ष-5 सटीकता, और प्रत्याशा कार्यों के लिए माध्य औसत परिशुद्धता (mAP) शामिल हैं। बेंचमार्क का उपयोग कई चुनौतियों में किया गया है, जिसमें EPIC-KITCHENS क्रिया पहचान चुनौती शामिल है, जो CVPR और ECCV जैसे प्रमुख कंप्यूटर दृष्टि सम्मेलनों में आयोजित की गई है।
प्रभाव और अनुप्रयोग
डेटासेट ने एगोसेंट्रिक दृष्टि में अनुसंधान को महत्वपूर्ण रूप से आगे बढ़ाया है और Machine learning और Deep learning समुदायों द्वारा व्यापक रूप से अपनाया गया है। इसने ऐसे मॉडलों के विकास को सक्षम किया है जो पहले-व्यक्ति के दृष्टिकोण से मानव गतिविधियों को समझ सकते हैं, जो रोबोटिक्स, संवर्धित वास्तविकता और सहायक प्रौद्योगिकियों में अनुप्रयोगों के लिए महत्वपूर्ण है। उदाहरण के लिए, Neural network आर्किटेक्चर जैसे Transformer (architecture)-आधारित मॉडल को क्रिया प्रत्याशा के लिए EPIC-KITCHENS पर लागू किया गया है, जो अस्थायी संदर्भ और बहु-मोडल जानकारी का लाभ उठाते हैं।
इसके अलावा, EPIC-KITCHENS ने दीर्घकालिक वीडियो समझ और ऑडियो और गति जैसे कई मोडैलिटी के एकीकरण के अध्ययन में योगदान दिया है। डेटासेट की यथार्थवादी सेटिंग और घनीभूत एनोटेशन इसे वास्तविक-विश्व परिदृश्यों में सामान्यीकरण करने के उद्देश्य से मॉडलों को प्रशिक्षित और मूल्यांकन करने के लिए एक मूल्यवान संसाधन बनाते हैं।
विस्तार और संबंधित डेटासेट
EPIC-KITCHENS की सफलता के बाद, उसी टीम ने EPIC-KITCHENS-100 जारी किया, जो 45 प्रतिभागियों से 100 घंटे के वीडियो के साथ एक विस्तारित संस्करण है, जिसमें अतिरिक्त एनोटेशन और एक बड़ी शब्दावली शामिल है। अन्य संबंधित एगोसेंट्रिक डेटासेट में Ego4D शामिल है, जो दैनिक गतिविधियों की एक व्यापक श्रेणी को कवर करता है, और Charades-Ego, जो घरेलू सेटिंग्स में एगोसेंट्रिक क्रिया पहचान पर केंद्रित है। ये डेटासेट सामूहिक रूप से एगोसेंट्रिक वीडियो समझ की सीमाओं को आगे बढ़ाते हैं।
निष्कर्ष
EPIC-KITCHENS एगोसेंट्रिक दृष्टि के क्षेत्र में एक आधारशिला डेटासेट बना हुआ है, जो क्रिया समझ के लिए एक अद्वितीय और चुनौतीपूर्ण बेंचमार्क प्रदान करता है। इसके योगदान ने Artificial intelligence में कई नवाचारों को प्रेरित किया है और मानव-कंप्यूटर अंतःक्रिया और बुद्धिमान प्रणालियों में अनुसंधान को प्रभावित करना जारी रखा है।