ImageNet-Sketch एक बेंचमार्क डेटासेट है जिसे 2019 में मशीन लर्निंग मॉडल की क्रॉस-डोमेन सामान्यीकरण क्षमता का मूल्यांकन करने के लिए पेश किया गया था। इसमें 50,000 ग्रेस्केल स्केच चित्र शामिल हैं, जिनमें मूल ImageNet डेटासेट के 1,000 वर्गों में से प्रत्येक के लिए 50 चित्र हैं। स्केच Google के QuickDraw प्रोजेक्ट और अन्य स्रोतों से एकत्र किए गए हैं, और वे वस्तुओं का एक शैलीबद्ध, अमूर्त चित्रण प्रस्तुत करते हैं, जो प्राकृतिक तस्वीरों से काफी भिन्न होते हैं। यह डेटासेट कंप्यूटर विज़न अनुसंधान में व्यापक रूप से उपयोग किया जाता है ताकि यह परीक्षण किया जा सके कि प्राकृतिक छवियों पर प्रशिक्षित मॉडल स्केच को कितनी अच्छी तरह पहचान सकते हैं, जो डोमेन शिफ्ट के प्रति मजबूती की आवश्यकता वाला कार्य है।
यह डेटासेट MIT और Google के शोधकर्ताओं द्वारा बनाया गया था, और इसे पहली बार हाओटियन वांग, वेइचाओ किउ और अन्य के पेपर 'Learning Robust Representations by Projecting Supervisory Signals' में प्रस्तुत किया गया था। प्राथमिक उद्देश्य एक चुनौतीपूर्ण मूल्यांकन सेट प्रदान करना था जो मानक परीक्षण सेटों से परे हो, जो अक्सर प्रशिक्षण डेटा के समान वितरण साझा करते हैं। स्केच का उपयोग करके, जो तस्वीरों से दृष्टिगत रूप से भिन्न होते हैं, ImageNet-Sketch मॉडल को निम्न-स्तरीय बनावट या रंग संकेतों के बजाय उच्च-स्तरीय शब्दार्थ सुविधाओं पर निर्भर रहने के लिए मजबूर करता है।
निर्माण और संरचना
ImageNet-Sketch में 50,000 चित्र शामिल हैं, जिनमें सभी 1,000 ImageNet श्रेणियों में प्रत्येक वर्ग के लिए ठीक 50 स्केच हैं। स्केच QuickDraw डेटासेट से लिए गए हैं, जिसमें लाखों उपयोगकर्ता-निर्मित डूडल शामिल हैं, और उन्हें ImageNet वर्ग लेबलों से मिलान करने के लिए फ़िल्टर किया गया है। प्रत्येक स्केच एक श्वेत-श्याम रेखा चित्र है, जो आमतौर पर सरल और अमूर्त होता है, और किसी वस्तु के आवश्यक आकार को पकड़ता है। डेटासेट जानबूझकर रंग और बनावट की जानकारी से बचता है, जिससे यह आकार-आधारित पहचान का एक शुद्ध परीक्षण बन जाता है।
निर्माण प्रक्रिया में QuickDraw श्रेणियों का ImageNet सिनसेट्स से मिलान करना और फिर उन स्केचों का एक उपसमूह चुनना शामिल था जिन्हें प्रतिनिधि माना गया था। अंतिम डेटासेट डाउनलोड के लिए सार्वजनिक रूप से उपलब्ध है, और यह क्षेत्र में एक मानक बेंचमार्क बन गया है। शोधकर्ता अक्सर विभिन्न प्रकार के वितरण शिफ्ट के प्रति मजबूती का आकलन करने के लिए इसका उपयोग ImageNet-C या ImageNet-A जैसे अन्य डेटासेट के साथ संयोजन में करते हैं।
मॉडल मूल्यांकन में उपयोग
ImageNet-Sketch मुख्य रूप से Deep learning मॉडलों की क्रॉस-डोमेन सामान्यीकरण क्षमता का मूल्यांकन करने के लिए उपयोग किया जाता है, विशेष रूप से कन्वोल्यूशनल न्यूरल नेटवर्क और अधिक हालिया Transformer (architecture)-आधारित आर्किटेक्चर। जब एक मॉडल को ImageNet (प्राकृतिक छवियों) पर प्रशिक्षित किया जाता है और ImageNet-Sketch पर परीक्षण किया जाता है, तो प्रदर्शन में गिरावट यह दर्शाती है कि मॉडल ने हस्तांतरणीय सुविधाओं को कितनी अच्छी तरह सीखा है। जो मॉडल बनावट या पृष्ठभूमि संकेतों पर बहुत अधिक निर्भर करते हैं, वे खराब प्रदर्शन करते हैं, जबकि जो आकार और संरचना को पकड़ते हैं, वे बेहतर प्रदर्शन करते हैं।
उदाहरण के लिए, ResNet मॉडल और विज़न ट्रांसफॉर्मर का इस बेंचमार्क पर मूल्यांकन किया गया है। अध्ययनों से पता चला है कि विज़न ट्रांसफॉर्मर अक्सर स्केच पहचान में कन्वोल्यूशनल नेटवर्क से बेहतर प्रदर्शन करते हैं, संभवतः उनके वैश्विक ध्यान तंत्र के कारण। डेटासेट का उपयोग Data Augmentation अनुसंधान में भी किया जाता है, जहां शैली स्थानांतरण या विरोधात्मक प्रशिक्षण जैसी तकनीकों का परीक्षण डोमेन शिफ्ट के प्रति मजबूती में सुधार करने की उनकी क्षमता के लिए किया जाता है।
अन्य बेंचमार्क के साथ संबंध
ImageNet-Sketch रोबस्टनेस बेंचमार्क के एक परिवार का हिस्सा है जिसमें ImageNet-C (क्षति), ImageNet-A (विरोधात्मक उदाहरण), और ImageNet-R (प्रस्तुतियाँ) शामिल हैं। जबकि ImageNet-C प्राकृतिक छवियों पर सिंथेटिक क्षति लागू करता है, ImageNet-Sketch एक पूरी तरह से अलग दृश्य शैली प्रदान करता है। यह इसे मॉडल सामान्यीकरण का परीक्षण करने के लिए एक पूरक बेंचमार्क बनाता है। डेटासेट का उपयोग अक्सर लीडरबोर्ड और शोध पत्रों में मूल ImageNet सत्यापन सेट पर सटीकता के साथ रोबस्टनेस मेट्रिक्स की रिपोर्ट करने के लिए किया जाता है।
डेटासेट का उपयोग न्यूरल नेटवर्क में 'बनावट पूर्वाग्रह' की घटना का अध्ययन करने के लिए भी किया गया है, जहां मॉडल वैश्विक आकार के बजाय स्थानीय बनावट पैटर्न पर निर्भर रहते हैं। बनावट की कमी वाले स्केच प्रस्तुत करके, ImageNet-Sketch इस पूर्वाग्रह को उजागर करता है और अधिक आकार-जागरूक मॉडल के विकास को प्रोत्साहित करता है।
सीमाएँ और आलोचनाएँ
ImageNet-Sketch की एक सीमा यह है कि स्केच सभी वर्गों में समान रूप से वितरित नहीं हैं; कुछ वर्गों में 50 से अधिक या कम चित्र हो सकते हैं, हालांकि डेटासेट को संतुलित करने के लिए डिज़ाइन किया गया है। इसके अतिरिक्त, स्केच अपेक्षाकृत सरल हैं और वास्तविक दुनिया के स्केचों की पूरी जटिलता को पकड़ नहीं सकते हैं, जो निष्कर्षों की सामान्यीकरण क्षमता को सीमित कर सकता है। कुछ शोधकर्ताओं ने यह भी नोट किया है कि डेटासेट उन वर्गों की ओर पक्षपाती है जो स्केच करने में आसान हैं, जैसे कि जानवर और सामान्य वस्तुएं, जबकि अधिक अमूर्त वर्ग कम प्रतिनिधित्व वाले हो सकते हैं।
इन सीमाओं के बावजूद, ImageNet-Sketch क्रॉस-डोमेन प्रदर्शन का मूल्यांकन करने के लिए एक मूल्यवान संसाधन बना हुआ है। यह कंप्यूटर विज़न साहित्य में व्यापक रूप से उद्धृत किया गया है और रोबस्टनेस, ट्रांसफर लर्निंग और मॉडल व्याख्या क्षमता पर अध्ययनों में उपयोग किया जा रहा है।