ImageNet-A एक डेटासेट है जिसे 2019 में डैन हेंड्रिक्स, केविन झाओ और सहयोगियों सहित शोधकर्ताओं द्वारा पेश किया गया था, जो स्वाभाविक रूप से होने वाले प्रतिकूल उदाहरणों पर मशीन लर्निंग मॉडल की मजबूती का मूल्यांकन करने के लिए एक बेंचमार्क के रूप में कार्य करता है। सिंथेटिक गड़बड़ियों द्वारा निर्मित प्रतिकूल छवियों के विपरीत, ImageNet-A में वास्तविक तस्वीरें शामिल हैं जिन्हें जानबूझकर बदला नहीं गया था, लेकिन कई मानक डीप लर्निंग मॉडल द्वारा गलत वर्गीकृत किया जाता है। मूल ImageNet के विपरीत, जिसमें 1,000 ऑब्जेक्ट क्लास शामिल हैं, ImageNet-A में केवल उन 200 कक्षाओं की छवियां शामिल हैं, और डेटासेट को यथार्थवादी कठिन मामलों पर विशिष्ट ध्यान केंद्रित करके तैयार किया गया था।
ImageNet-A के पीछे की प्रेरणा इस अवलोकन से उपजी है कि कई मॉडल मानक परीक्षण सेटों पर लगभग सही स्कोर प्राप्त करते हैं, लेकिन रोजमर्रा की दुनिया के विशिष्ट दृश्यों से मिलती-जुलती छवियों पर नाटकीय रूप से विफल हो जाते हैं। ImageNet-A में छवियां विभिन्न संदर्भों में वस्तुओं की प्राकृतिक तस्वीरें हैं, जिनमें असामान्य कोण, कोहरा या नवीन प्रकाश व्यवस्था शामिल है, और ये ImageNet सत्यापन सेट में साफ छवियों से अलग हैं। मुख्य अंतर्दृष्टि यह है कि ये छवियां इस अर्थ में प्रतिकूल नहीं हैं कि उनमें जानबूझकर, अगोचर शोर होता है, बल्कि वे प्रयोगशाला स्थितियों और वास्तविक दुनिया की तैनाती में मॉडल प्रदर्शन के बीच एक अंतर को उजागर करती हैं।
निर्माण और विशेषताएँ
ImageNet-A के निर्माण में वेब से छवियों को एकत्र करना शामिल था, जिन्हें बाद में ImageNet के प्रशिक्षण या सत्यापन सेटों में छवियों के साथ ओवरलैप से बचने के लिए सावधानीपूर्वक फ़िल्टर किया गया था। क्यूरेटर ने ऐसी छवियों का चयन किया जो मानव मूल्यांकनकर्ताओं के लिए दृष्टिगत रूप से पहचानने योग्य थीं, लेकिन जो ResNet और VGG-शैली आर्किटेक्चर जैसे प्रसिद्ध मॉडलों को लगातार भ्रमित करती थीं। अंतिम डेटासेट में मूल 1,000 कक्षाओं में से 200 में 7,500 से अधिक छवियां शामिल हैं। कठिनाई को सत्यापित करने के लिए, लेखकों ने बताया कि एक मानक पूर्व-प्रशिक्षित ResNet-50 मॉडल ImageNet-A पर केवल लगभग 0.1% शीर्ष-1 सटीकता प्राप्त करता है, जो ImageNet सत्यापन पर इसकी लगभग 76% सटीकता के बिल्कुल विपरीत है।
क्यूरेशन प्रक्रिया पुनरावृत्तीय थी: प्रारंभिक उम्मीदवार छवियों को सार्वजनिक स्रोतों से एकत्र किया गया था, फिर गलत वर्ग में उच्च आत्मविश्वास वाले लोगों की पहचान करने के लिए मॉडल भविष्यवाणियों का उपयोग किया गया था। फिर मनुष्यों ने सत्यापित किया कि प्रत्येक छवि स्पष्ट रूप से एक दिए गए वर्ग से संबंधित है और सही ढंग से लेबल की गई थी। इस मानव-इन-द-लूप दृष्टिकोण ने उच्च लेबल गुणवत्ता सुनिश्चित की, क्योंकि जो छवियां अस्पष्ट थीं या जिन्हें मॉडल ने सही ढंग से वर्गीकृत किया था, उन्हें हटा दिया गया था।
प्रतिकूल मजबूती से संबंध
डेटासेट मशीन लर्निंग मजबूती और कृत्रिम बुद्धिमत्ता मूल्यांकन के प्रतिच्छेदन पर स्थित है। यह प्रदर्शित करता है कि स्वाभाविक रूप से होने वाले डेटा में पाए जाने वाले वितरण बदलाव सिंथेटिक प्रतिकूल हमलों में छोटी गड़बड़ियों के रूप में मॉडल के लिए उतने ही चुनौतीपूर्ण हो सकते हैं। "प्राकृतिक प्रतिकूल उदाहरण" शब्द का उपयोग इस बात पर जोर देने के लिए किया जाता है कि ये छवियां अनुकूलन विधियों के साथ नहीं बनाई गई हैं, फिर भी ये प्रशिक्षित तंत्रिका नेटवर्क में समान विफलताओं को ट्रिगर करती हैं। ImageNet-A से अवलोकनों ने बाद के मजबूती अनुसंधान को प्रभावित किया है, जिसमें ImageNet-C (भ्रष्टाचार के लिए) और ImageNet-R (प्रस्तुतियों के लिए) जैसे बेंचमार्क का विकास शामिल है।
अनुसंधान में उपयोग
ImageNet-A जल्दी से किसी मॉडल के सामान्यीकरण और प्राकृतिक वितरण बदलावों को संभालने की क्षमता का आकलन करने के लिए एक मानक जांच बिंदु बन गया। इसका उपयोग विभिन्न मॉडल आर्किटेक्चर, जिसमें अवशिष्ट नेटवर्क, ट्रांसफॉर्मर और नए स्केल किए गए आर्किटेक्चर शामिल हैं, के मूल्यांकन में किया गया है। डीप लर्निंग समुदाय में, मानक सत्यापन सेट पर सटीकता के साथ ImageNet-A पर प्रदर्शन की रिपोर्ट करना आम है, जो उन मॉडलों की पहचान करने के तरीके के रूप में है जो केवल साफ छवियों के लिए ओवरफिटिंग नहीं कर रहे हैं।
मानक मॉडल मूल्यांकन से परे, डेटासेट गलत वर्गीकरण के कारणों का अध्ययन करने के आधार के रूप में कार्य करता है। उदाहरण के लिए, इसका उपयोग यह जांचने के लिए किया गया है कि डेटा संवर्धन तकनीकों के गुण आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन को कैसे प्रभावित करते हैं, और ऐसी विफलताओं को कम करने के लिए पाठ्यक्रम-आधारित शिक्षण रणनीतियों के साथ मॉडल को प्रशिक्षित करने के लिए। इसके अलावा, अध्ययनों से पता चलता है कि बड़े डेटासेट पर या अधिक स्व-पर्यवेक्षित तरीकों से प्रशिक्षित मॉडल ImageNet-A पर बेहतर मजबूती दिखा सकते हैं, लेकिन प्राकृतिक परिवर्तनशीलता की विविधता के कारण अंतर को पूरी तरह से बंद नहीं करते हैं।
सीमाएँ और आलोचनाएँ
ImageNet-A के साथ कई व्यावहारिक मुद्दे मौजूद हैं। डेटासेट 200 कक्षाओं तक सीमित है, और इसमें केवल वे कक्षाएं शामिल हैं जिन्हें पहले के मॉडलों द्वारा गलत वर्गीकृत किया गया था, जो संभावित रूप से एक पूर्वाग्रह पैदा करता है जो उन वर्गीकरणकर्ताओं को शायद ही बनाए रखता है जो अन्य पीढ़ी दृष्टिकोणों के साथ प्रशिक्षित होते हैं। इसके अतिरिक्त, क्यूरेशन प्रक्रिया, जिसमें मॉडल भविष्यवाणियों का उपयोग किया गया था, एक चयन पूर्वाग्रह ला सकती है जो 2019-युग के मॉडलों के विशिष्ट अंधे धब्बों पर जोर देती है। 2020 के दशक की शुरुआत तक, अधिक मजबूत बड़े पैमाने के मॉडल ने ImageNet-A पर स्कोर में सुधार किया है, फिर भी वितरण बदलाव को पूरी तरह से हल करने के लिए आवश्यक लचीलेपन में चुनौती बनी हुई है। आलोचक यह भी ध्यान देते हैं कि डेटासेट अन्य मजबूती बेंचमार्क के सापेक्ष छोटा है, जो प्रदर्शन माप की सांख्यिकीय शक्ति को सीमित करता है।
विरासत और प्रभाव
ImageNet-A की शुरूआत ने समुदाय में मानक परीक्षण सटीकता से परे मॉडल का मूल्यांकन करने की आवश्यकता के बारे में व्यापक जागरूकता में योगदान दिया है। इसे कई लीडरबोर्ड में शामिल किया गया है और मॉडल मजबूती पर कई बड़े सर्वेक्षणों में संक्षेप में उल्लेख किया गया है। विशेष रूप से, प्राकृतिक उदाहरणों को इकट्ठा करने का दृष्टिकोण जिन्हें मनुष्य पूर्ण आत्मविश्वास के साथ लेबल करते हैं, लेकिन मॉडल विफल होते हैं, अन्य डेटासेट के लिए एक खाका बन गया है, जैसे कि ObjectNet (जो वैश्विक रोटेशन को नियंत्रित करता है) और दुनिया पर ध्यान केंद्रित करना जैसा कि व्यवहार में सामना किया जाता है। डेटासेट बेहतर मजबूती का दावा करने वाले नए मशीन लर्निंग तरीकों को मान्य करने के लिए एक सामान्य उपकरण बना हुआ है, और इसका उपयोग आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण के बाद के अनुमानों के लिए एक सूखे अभ्यास के रूप में जारी है।
एक केंद्रीय निष्कर्ष यह है कि ImageNet-A बेंचमार्क सेटिंग्स में मॉडल की सटीकता और वास्तविक दुनिया में उनके विश्वसनीय व्यवहार के बीच देखे गए विचलन को रेखांकित करता है। यह इस बात पर महत्वपूर्ण शैक्षणिक संवाद का मार्गदर्शन करता है कि अनुसंधान से उद्योग उपयोग में जाने पर मॉडल को अधिक जिम्मेदारी से कैसे शेड्यूल किया जाए, जो बर्कले एआई अनुसंधान और स्टैनफोर्ड एआई लैब जैसी प्रयोगशालाओं के शोध लक्ष्यों के साथ प्रतिध्वनित होता है जो प्रतिकूल भेद्यता का अध्ययन कर रहे हैं।