CIFAR-100-C एक बेंचमार्क डेटासेट है जिसे सामान्य छवि विकृतियों के विरुद्ध मशीन लर्निंग मॉडल की मजबूती का मूल्यांकन करने के लिए डिज़ाइन किया गया है। इसमें CIFAR-100 परीक्षण सेट के विकृत संस्करण शामिल हैं, जो पांच गंभीरता स्तरों पर 15 प्रकार की विकृतियों को लागू करके बनाए गए हैं। यह डेटासेट मजबूती अनुसंधान में व्यापक रूप से उपयोग किया जाता है ताकि यह मापा जा सके कि मॉडल अप्रत्याशित इनपुट गड़बड़ियों के लिए कितनी अच्छी तरह सामान्यीकरण करते हैं, जो मानक सटीकता मेट्रिक्स को पूरक करता है।
मूल CIFAR-100 डेटासेट में 100 वर्गों में 60,000 32x32 रंगीन छवियां हैं, जिनमें 50,000 प्रशिक्षण छवियां और 10,000 परीक्षण छवियां शामिल हैं। CIFAR-100-C 10,000 परीक्षण छवियों को लेता है और प्रत्येक गंभीरता पर प्रत्येक विकृति प्रकार को लागू करता है, जिसके परिणामस्वरूप 75,000 विकृत छवियां बनती हैं (15 विकृतियां x 5 गंभीरताएं x 10,000 छवियां)। विकृतियां वास्तविक दुनिया की गड़बड़ियों जैसे शोर, धुंधलापन, मौसम प्रभाव और डिजिटल कलाकृतियों का अनुकरण करती हैं।
विकृति प्रकार
15 विकृति प्रकारों को चार श्रेणियों में समूहीकृत किया गया है: शोर (गाऊसी, शॉट, इम्पल्स), धुंधलापन (डिफोकस, फ्रॉस्टेड, ग्लास, मोशन, ज़ूम), मौसम (बर्फ, पाला, कोहरा, चमक), और डिजिटल (कंट्रास्ट, इलास्टिक, पिक्सेलेट, JPEG)। प्रत्येक विकृति एल्गोरिदमिक रूप से लागू की जाती है, जिसमें गंभीरता स्तर 1 (हल्का) से 5 (गंभीर) तक होते हैं। उदाहरण के लिए, गाऊसी शोर यादृच्छिक पिक्सेल मान जोड़ता है, जबकि मोशन ब्लर कैमरा गति का अनुकरण करता है। डेटासेट एक मानकीकृत कोडबेस का उपयोग करके उत्पन्न किया जाता है, जो अध्ययनों में पुनरुत्पादनीयता सुनिश्चित करता है।
मजबूती मूल्यांकन में उपयोग
CIFAR-100-C आमतौर पर न्यूरल नेटवर्क और अन्य मशीन लर्निंग मॉडल की मजबूती को मापने के लिए उपयोग किया जाता है। शोधकर्ता सभी विकृतियों और गंभीरताओं में औसत त्रुटि दर की रिपोर्ट करते हैं, जिसे अक्सर माध्य विकृति त्रुटि (mCE) कहा जाता है। डेटा संवर्धन तकनीकों, जैसे यादृच्छिक क्रॉपिंग या रंग जिटर, के साथ प्रशिक्षित मॉडल आमतौर पर बिना प्रशिक्षित मॉडल की तुलना में CIFAR-100-C पर बेहतर प्रदर्शन करते हैं। यह बेंचमार्क CIFAR-10-C और ImageNet-C के साथ मजबूती समुदाय में एक मानक उपकरण बन गया है।
अन्य बेंचमार्क से संबंध
CIFAR-100-C विकृति बेंचमार्क के एक परिवार का हिस्सा है जिसे 2019 में हेंड्रिक्स और डिटेरिच द्वारा पेश किया गया था, जिसमें CIFAR-10-C और ImageNet-C भी शामिल हैं। ये डेटासेट समान विकृति प्रकार और गंभीरता स्तर साझा करते हैं, जिससे क्रॉस-डेटासेट तुलना संभव होती है। बेंचमार्क अक्सर प्रतिकूल मजबूती मूल्यांकन के साथ संयोजन में उपयोग किया जाता है, हालांकि यह दुर्भावनापूर्ण गड़बड़ियों के बजाय प्राकृतिक विकृतियों पर केंद्रित है। इसका उपयोग बैच नॉर्मलाइज़ेशन और अन्य वास्तुशिल्प विकल्पों के मजबूती पर प्रभावों का अध्ययन करने के लिए भी किया जाता है।
सीमाएं और विस्तार
जबकि CIFAR-100-C व्यापक रूप से उपयोग किया जाता है, इसकी सीमाएं हैं। विकृतियां सिंथेटिक हैं और वास्तविक दुनिया के वितरण बदलावों को पूरी तरह से कैप्चर नहीं कर सकती हैं। कुछ शोधकर्ताओं ने विस्तार प्रस्तावित किए हैं, जैसे CIFAR-100-P, जिसमें वीडियो-जैसे अनुक्रमों के लिए अस्थायी रूप से सहसंबंधित विकृतियां शामिल हैं। अन्य लोगों ने दृष्टि कार्यों पर लागू होने पर बड़े भाषा मॉडल की मजबूती का मूल्यांकन करने के लिए CIFAR-100-C का उपयोग किया है, हालांकि ऐसे अनुप्रयोग कम आम हैं। डेटासेट मजबूती बेंचमार्किंग के लिए एक मूल्यवान संसाधन बना हुआ है, विशेष रूप से छोटे पैमाने के मॉडल और त्वरित प्रयोगों के लिए।