ImageNet-C एक बेंचमार्क डेटासेट है जिसे मशीन लर्निंग मॉडल, विशेष रूप से गहरे तंत्रिका नेटवर्क, की सामान्य छवि विकृतियों के प्रति मजबूती का मूल्यांकन करने के लिए डिज़ाइन किया गया है। इसे 2019 में डैन हेंड्रिक्स और थॉमस डिटेरिच द्वारा पेश किया गया था, ताकि स्वच्छ छवियों पर मॉडल प्रदर्शन और वास्तविक दुनिया की स्थितियों में प्रदर्शन के बीच के अंतर को संबोधित किया जा सके, जहां छवियां अक्सर शोर, धुंधलापन, मौसम प्रभाव, या डिजिटल कलाकृतियों से खराब हो जाती हैं। यह बेंचमार्क मूल ImageNet डेटासेट के सत्यापन सेट पर पांच बढ़ती गंभीरता स्तरों पर 15 अलग-अलग विकृति प्रकार लागू करता है, जिससे वितरण बदलाव के तहत मॉडल सटीकता बनाए रखने की क्षमता मापने के लिए एक मानकीकृत परीक्षण तैयार होता है।
ImageNet-C के पीछे प्राथमिक प्रेरणा यह है कि मानक डेटासेट जैसे ImageNet पर प्रशिक्षित मॉडल अक्सर स्वच्छ, क्यूरेटेड छवियों पर उच्च सटीकता प्राप्त करते हैं, लेकिन मामूली गड़बड़ी के संपर्क में आने पर नाटकीय रूप से विफल हो जाते हैं। यह नाजुकता स्वायत्त ड्राइविंग, चिकित्सा इमेजिंग, और निगरानी जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों में कृत्रिम बुद्धिमत्ता तैनात करने के लिए महत्वपूर्ण जोखिम पैदा करती है। नियंत्रित और प्रतिलिपि योग्य विकृतियों का एक सेट प्रदान करके, ImageNet-C शोधकर्ताओं को मजबूती को मापने, विभिन्न आर्किटेक्चर और प्रशिक्षण विधियों की तुलना करने, और समय के साथ प्रगति को ट्रैक करने में सक्षम बनाता है।
विकृति प्रकार और गंभीरता स्तर
ImageNet-C में 15 विकृति श्रेणियां शामिल हैं जो चार व्यापक वर्गों में समूहीकृत हैं: शोर (गाऊसी शोर, शॉट शोर, आवेग शोर), धुंधलापन (डिफोकस धुंधलापन, फ्रॉस्टेड ग्लास धुंधलापन, गति धुंधलापन, ज़ूम धुंधलापन), मौसम (बर्फ, पाला, कोहरा, चमक), और डिजिटल (कंट्रास्ट, लोचदार परिवर्तन, पिक्सेलेशन, JPEG संपीड़न)। प्रत्येक विकृति पांच गंभीरता स्तरों पर लागू की जाती है, जो हल्के (स्तर 1) से गंभीर (स्तर 5) तक होती है, जहां उच्च स्तर अधिक स्पष्ट गिरावट पेश करते हैं। बेंचमार्क ImageNet के मानक 50,000-छवि सत्यापन सेट का उपयोग करता है, प्रत्येक छवि को प्रति गंभीरता स्तर एक बार विकृत किया जाता है, जिसके परिणामस्वरूप कुल 750,000 विकृत छवियां होती हैं।
विकृतियों को प्राकृतिक सेटिंग्स में होने वाली यथार्थवादी गड़बड़ी का अनुकरण करने के लिए डिज़ाइन किया गया है। उदाहरण के लिए, गाऊसी शोर कम रोशनी वाली फोटोग्राफी में सेंसर शोर की नकल करता है, गति धुंधलापन कैमरा शेक या वस्तु गति का अनुकरण करता है, और कोहरा बाहरी दृश्यों में दृश्यता कम करता है। गंभीरता स्तर शोधकर्ताओं को यह आकलन करने की अनुमति देते हैं कि मॉडल प्रदर्शन धीरे-धीरे कैसे बिगड़ता है, जो एकल बाइनरी मजबूती परीक्षण की तुलना में अधिक सूक्ष्म तस्वीर प्रदान करता है।
मूल्यांकन मेट्रिक्स और उपयोग
शोधकर्ता आमतौर पर ImageNet-C पर मॉडलों का मूल्यांकन विकृत छवियों पर शीर्ष-1 त्रुटि दर की गणना करके और इसे स्वच्छ ImageNet पर त्रुटि दर से तुलना करके करते हैं। एक सामान्य मेट्रिक विकृति त्रुटि (CE) है, जो मॉडल की विकृत डेटा पर त्रुटि को बेसलाइन मॉडल (अक्सर स्वच्छ ImageNet पर प्रशिक्षित ResNet-50) की त्रुटि से सामान्यीकृत करती है। सभी विकृतियों और गंभीरताओं में औसत विकृति त्रुटि (mCE) एक एकल मजबूती स्कोर प्रदान करती है, जहां कम मान बेहतर मजबूती का संकेत देते हैं।
ImageNet-C मशीन लर्निंग समुदाय में एक मानक बेंचमार्क बन गया है, जिसका उपयोग सैकड़ों पेपरों में डेटा संवर्धन तकनीकों, प्रतिकूल प्रशिक्षण विधियों, और आर्किटेक्चरल नवाचारों का मूल्यांकन करने के लिए किया जाता है। यह अन्य मजबूती बेंचमार्क जैसे ImageNet-A (प्राकृतिक प्रतिकूल उदाहरण) और ImageNet-R (प्रतिपादन) का पूरक है, जो वितरण बदलाव के लिए परीक्षणों का एक सूट बनाता है। बेंचमार्क व्यापक रूप से सुलभ है, पूर्व-जनित विकृत छवियां डाउनलोड के लिए उपलब्ध हैं, और यह PyTorch और TensorFlow जैसे लोकप्रिय फ्रेमवर्क के साथ एकीकृत होता है।
प्रशिक्षण विधियों से संबंध
ImageNet-C ने मजबूती-बढ़ाने वाली तकनीकों के विकास को प्रेरित किया है। डेटा संवर्धन रणनीतियाँ, जैसे AugMix और PixMix, प्रशिक्षण के दौरान सामान्यीकरण में सुधार के लिए स्पष्ट रूप से विकृति-जैसे परिवर्तनों को शामिल करती हैं। Data Augmentation विधियाँ जो छवि के कई विकृत संस्करणों को मिलाती हैं, mCE में महत्वपूर्ण कमी दिखाती हैं। इसके अतिरिक्त, आर्किटेक्चर जो Batch Normalization या Layer Normalization शामिल करते हैं, विभिन्न मजबूती प्रोफाइल प्रदर्शित कर सकते हैं, और बेंचमार्क का उपयोग मॉडल क्षमता, गहराई, और चौड़ाई के विकृति लचीलापन पर प्रभाव का अध्ययन करने के लिए किया गया है।
शोध से पता चला है कि Curriculum Learning या Gradient Clipping के साथ प्रशिक्षित मॉडल कभी-कभी मजबूती में सुधार कर सकते हैं, हालांकि परिणाम भिन्न होते हैं। बेंचमार्क स्वच्छ सटीकता और मजबूती के बीच व्यापार-बंद को भी उजागर करता है; स्वच्छ ImageNet पर अत्याधुनिक प्रदर्शन प्राप्त करने वाले मॉडल अक्सर उच्च mCE रखते हैं, यह सुझाव देते हुए कि मजबूती मानक सटीकता के साथ स्वचालित रूप से सहसंबंधित नहीं है। इसने मजबूत अनुकूलन और एन्सेम्बल विधियों पर काम को प्रेरित किया है।
सीमाएं और आलोचनाएं
जबकि ImageNet-C व्यापक रूप से उपयोग किया जाता है, इसकी सीमाएं हैं। विकृतियां सिंथेटिक हैं और वास्तविक दुनिया की विकृतियों की विविधता को पूरी तरह से कैप्चर नहीं कर सकती हैं, जिसमें सेंसर-विशिष्ट शोर, विभिन्न कोडेक्स से संपीड़न कलाकृतियां, या बेंचमार्क में प्रतिनिधित्व नहीं किए गए पर्यावरणीय कारक शामिल हो सकते हैं। गंभीरता स्तर असतत हैं और व्यवहार में निरंतर गिरावट को प्रतिबिंबित नहीं कर सकते हैं। इसके अतिरिक्त, बेंचमार्क छवि वर्गीकरण पर केंद्रित है, इसलिए इसकी अंतर्दृष्टि सीधे वस्तु पहचान या विभाजन जैसे अन्य कार्यों में स्थानांतरित नहीं हो सकती है।
कुछ शोधकर्ता तर्क देते हैं कि ImageNet-C के प्रति मजबूती अन्य प्रकार के वितरण बदलाव, जैसे प्राकृतिक प्रतिकूल उदाहरण या डोमेन बदलाव, के प्रति मजबूती की गारंटी नहीं देती है। बेंचमार्क मॉडल कैलिब्रेशन या अनिश्चितता के लिए भी जिम्मेदार नहीं है, जो तैनाती के लिए महत्वपूर्ण हैं। इन आलोचनाओं के बावजूद, ImageNet-C मानकीकृत मूल्यांकन के लिए एक मूल्यवान उपकरण बना हुआ है और मॉडल मजबूती को समझने और सुधारने में महत्वपूर्ण प्रगति को प्रेरित किया है।
प्रभाव और भविष्य की दिशाएं
ImageNet-C ने मजबूत मशीन लर्निंग के व्यापक क्षेत्र को प्रभावित किया है, शोधकर्ताओं को सटीकता के साथ-साथ विकृति मजबूती को प्रथम-श्रेणी के उद्देश्य के रूप में विचार करने के लिए प्रोत्साहित किया है। इसे अन्य डोमेन में विस्तारित किया गया है, जैसे वीडियो के लिए ImageNet-C (अस्थायी विकृतियों के साथ) और चिकित्सा इमेजिंग के लिए वेरिएंट। बेंचमार्क का उपयोग बड़े पैमाने के मॉडलों का मूल्यांकन करने के लिए भी किया गया है, जिसमें Large language model-आधारित दृष्टि प्रणाली शामिल हैं, हालांकि इन मॉडलों को अक्सर विभिन्न मूल्यांकन प्रोटोकॉल की आवश्यकता होती है।
भविष्य के काम में अधिक यथार्थवादी विकृति मॉडल, अनुकूली गंभीरता स्तर, और निरंतर सीखने के परिदृश्यों के साथ एकीकरण शामिल हो सकता है। जैसे-जैसे Deep learning मॉडल वास्तविक दुनिया के अनुप्रयोगों में अधिक प्रचलित होते जाते हैं, ImageNet-C जैसे बेंचमार्क यह सुनिश्चित करने में महत्वपूर्ण भूमिका निभाते रहेंगे कि ये प्रणालियां प्रतिकूल परिस्थितियों में विश्वसनीय और सुरक्षित हैं।