ImageNet-R एक बेंचमार्क डेटासेट है जिसे मशीन लर्निंग मॉडल की वितरण बदलाव (distribution shift) के प्रति मजबूती का परीक्षण करने के लिए डिज़ाइन किया गया है। इसमें मूल ImageNet डेटासेट की वस्तु श्रेणियों के कलात्मक रूपांतरण वाली छवियाँ शामिल हैं, जिनमें कार्टून, पेंटिंग, स्केच और मूर्तियाँ जैसी शैलियाँ शामिल हैं। मानक परीक्षण सेटों के विपरीत, जिनमें प्राकृतिक तस्वीरें होती हैं, ImageNet-R मॉडलों को एक महत्वपूर्ण दृश्य डोमेन बदलाव प्रस्तुत करता है, जो प्रशिक्षण वितरण से परे सामान्यीकरण करने की उनकी क्षमता को चुनौती देता है। यह डेटासेट परिचित वस्तुओं के असामान्य प्रतिनिधित्वों का सामना करने पर गहरे तंत्रिका नेटवर्क की कमजोरी को उजागर करने के लिए पेश किया गया था।
ImageNet-R का प्राथमिक उद्देश्य वितरण बदलाव मजबूती के लिए एक मूल्यांकन उपकरण के रूप में कार्य करना है। मशीन लर्निंग में, मॉडलों को अक्सर ImageNet जैसे बड़े पैमाने के डेटासेट पर प्रशिक्षित किया जाता है, जिनमें प्राकृतिक छवियाँ होती हैं। हालाँकि, वास्तविक दुनिया के अनुप्रयोगों में अक्सर ऐसी छवियाँ मिलती हैं जो शैली, बनावट या संदर्भ में भिन्न होती हैं। ImageNet-R एक नियंत्रित वातावरण प्रदान करता है जिससे यह मापा जा सके कि इनपुट डोमेन बदलने पर मॉडल अपनी वर्गीकरण सटीकता कितनी बनाए रखता है। यह मजबूत गहन शिक्षण के क्षेत्र में एक मानक बेंचमार्क बन गया है, जो ImageNet-C (विकृतियाँ) और ImageNet-A (विरोधी उदाहरण) जैसे अन्य डेटासेटों का पूरक है।
निर्माण और संरचना
ImageNet-R को 2020 में Hendrycks एट अल. द्वारा बनाया गया था। डेटासेट में 200 ImageNet श्रेणियों में 30,000 छवियाँ शामिल हैं, जिनमें प्रत्येक श्रेणी में लगभग 150 छवियाँ हैं। छवियाँ विभिन्न ऑनलाइन भंडारों से ली गई हैं और विविध कलात्मक शैलियों का प्रतिनिधित्व करने के लिए चुनी गई हैं। ये 200 श्रेणियाँ मूल 1,000 ImageNet श्रेणियों का एक उपसमुच्चय हैं, जिन्हें उन श्रेणियों को शामिल करने के लिए चुना गया है जिनके कला में स्पष्ट दृश्य समकक्ष हैं, जैसे जानवर, वाहन और रोज़मर्रा की वस्तुएँ। रूपांतरणों में जलरंग पेंटिंग, तेल चित्रकला, क्लिप आर्ट और 3D रेंडरिंग शामिल हैं, अन्य शैलियों के साथ। यह विविधता सुनिश्चित करती है कि डेटासेट अमूर्त प्रतिनिधित्व से लेकर अधिक यथार्थवादी लेकिन शैलीबद्ध चित्रण तक, दृश्य परिवर्तनों की एक विस्तृत श्रृंखला को पकड़ता है।
मूल्यांकन और मेट्रिक्स
ImageNet-R पर मॉडलों का मूल्यांकन करते समय, मानक मीट्रिक शीर्ष-1 वर्गीकरण सटीकता है। डेटासेट का उपयोग आमतौर पर परीक्षण सेट के रूप में किया जाता है, जिसमें मॉडलों को मानक ImageNet या अन्य प्राकृतिक छवि डेटासेट पर प्रशिक्षित किया जाता है। प्रारंभिक प्रयोगों से एक प्रमुख निष्कर्ष यह है कि कई अत्याधुनिक मॉडल, जिनमें अवशिष्ट-नेटवर्क आर्किटेक्चर पर आधारित मॉडल शामिल हैं, मानक ImageNet सत्यापन सेट की तुलना में ImageNet-R पर सटीकता में महत्वपूर्ण गिरावट का अनुभव करते हैं। उदाहरण के लिए, ImageNet पर प्रशिक्षित एक ResNet-50 प्राकृतिक छवियों पर लगभग 76% शीर्ष-1 सटीकता प्राप्त कर सकता है, लेकिन ImageNet-R पर केवल लगभग 36%। यह प्रदर्शन अंतर वितरण बदलाव की चुनौती को उजागर करता है। बाद के शोध ने इस बेंचमार्क पर प्रदर्शन में सुधार के लिए डेटा-वृद्धि रणनीतियों और मजबूती-जागरूक हानि फलनों जैसी प्रशिक्षण तकनीकों को विकसित करने पर ध्यान केंद्रित किया है।
अन्य मजबूती बेंचमार्क से संबंध
ImageNet-R उन बेंचमार्कों के एक परिवार का हिस्सा है जो मॉडल मजबूती के विभिन्न पहलुओं की जाँच करते हैं। जहाँ ImageNet-C शोर और धुंधलापन जैसी सिंथेटिक विकृतियाँ पेश करता है, वहीं ImageNet-R प्राकृतिक शैली विविधताओं पर केंद्रित है। दूसरी ओर, ImageNet-A में स्वाभाविक रूप से होने वाले विरोधी उदाहरण शामिल हैं जिन्हें अक्सर मानक मॉडलों द्वारा गलत वर्गीकृत किया जाता है। साथ में, ये डेटासेट किसी मॉडल की वितरण-बाह्य डेटा को संभालने की क्षमता का एक व्यापक मूल्यांकन प्रदान करते हैं। कृत्रिम बुद्धिमत्ता सुरक्षा और विश्वसनीयता के संदर्भ में, ImageNet-R विशेष रूप से प्रासंगिक है क्योंकि कलात्मक रूपांतरण उपयोगकर्ता-जनित सामग्री में आम हैं, और ऐसे इनपुट पर विफल होने वाला मॉडल वास्तविक दुनिया के अनुप्रयोगों में कम भरोसेमंद हो सकता है।
प्रभाव और सीमाएँ
ImageNet-R ने डोमेन सामान्यीकरण और मजबूत प्रतिनिधित्व शिक्षण के क्षेत्र में महत्वपूर्ण शोध को प्रेरित किया है। इसका उपयोग विभिन्न दृष्टिकोणों की प्रभावशीलता का मूल्यांकन करने के लिए किया गया है, जिनमें कंट्रास्टिव लर्निंग, स्व-पर्यवेक्षित प्रीट्रेनिंग और ट्रांसफॉर्मर-आधारित दृष्टि मॉडल जैसे वास्तुशिल्प नवाचार शामिल हैं। हालाँकि, डेटासेट की सीमाएँ भी हैं। 200 श्रेणियाँ ImageNet का एक उपसमुच्चय हैं, इसलिए यह पूर्ण लेबल स्थान को कवर नहीं करता है। इसके अतिरिक्त, कलात्मक शैलियाँ संपूर्ण नहीं हैं, और जो मॉडल ImageNet-R पर अच्छा प्रदर्शन करते हैं वे अन्य प्रकार के वितरण बदलावों पर भी विफल हो सकते हैं। 2024 तक, ImageNet-R एक व्यापक रूप से उद्धृत बेंचमार्क बना हुआ है, लेकिन शोधकर्ता मजबूती की सीमाओं को आगे बढ़ाने के लिए तेजी से अधिक विविध और चुनौतीपूर्ण डेटासेट विकसित कर रहे हैं।
यह भी देखें
संदर्भ
- Hendrycks, D., एट अल. (2020). The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization. arXiv preprint.
- Hendrycks, D., और Dietterich, T. (2019). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. ICLR.
बाहरी लिंक
- ImageNet-R आधिकारिक भंडार (नीति के कारण लिंक नहीं किया गया)
श्रेणियाँ
- मजबूती
- बेंचमार्क
- डेटासेट
- कंप्यूटर दृष्टि