CLEVER स्कोर (क्रॉस-लिप्सचिट्ज़ एक्सट्रीम वैल्यू फॉर नेटवर्क रोबस्टनेस) तंत्रिका नेटवर्क क्लासिफायर की प्रतिकूल उदाहरणों के प्रति मजबूती का मूल्यांकन करने के लिए एक मात्रात्मक मीट्रिक है। 2018 में त्सुई-वेई वेंग और सहकर्मियों द्वारा प्रस्तावित, यह किसी दिए गए इनपुट के लिए नेटवर्क के वर्गीकरण को बदलने के लिए आवश्यक न्यूनतम विरूपण पर एक निचली सीमा का अनुमान लगाता है। यह स्कोर गहन शिक्षण में एक केंद्रीय चुनौती को संबोधित करता है: प्रत्येक इनपुट के लिए एक दुर्गम अनुकूलन समस्या को हल किए बिना सबसे खराब स्थिति की मजबूती को मापने का एक व्यावहारिक, स्केलेबल तरीका प्रदान करना।
पारंपरिक प्रतिकूल मजबूती उपाय अक्सर हमले के एल्गोरिदम पर निर्भर करते हैं, जो केवल एक विशिष्ट विक्षोभ ढूंढते हैं जो सफल होता है, या औपचारिक सत्यापन पर, जो कम्प्यूटेशनल रूप से महंगा है और शायद ही बड़े नेटवर्क तक फैलता है। CLEVER एक विकल्प प्रदान करता है जो सैद्धांतिक गारंटी को कम्प्यूटेशनल दक्षता सन्निकटन के साथ जोड़ता है, जिससे यह आधुनिक आर्किटेक्चर जैसे तंत्रिका नेटवर्क और गहन शिक्षण मॉडल पर उपयोग योग्य बन जाता है।
कार्यप्रणाली
CLEVER इनपुट के संबंध में नेटवर्क के आउटपुट फ़ंक्शन के लिप्सचिट्ज़ स्थिरांक का अनुमान लगाकर एक स्थानीय मजबूती प्रमाणपत्र की गणना करता है। एक वर्गीकरण नेटवर्क के लिए, प्रासंगिक फ़ंक्शन सही वर्ग और प्रत्येक प्रतिस्पर्धी वर्ग के लॉगिट्स (प्री-सॉफ्टमैक्स आउटपुट) के बीच का अंतर है। स्थानीय लिप्सचिट्ज़ स्थिरांक यह दर्शाता है कि इनपुट को विक्षुब्ध करने पर ये लॉगिट अंतर कितनी तेजी से बदल सकते हैं।
मुख्य नवाचार चरम मूल्य सिद्धांत का उपयोग है। वैश्विक लिप्सचिट्ज़ स्थिरांक की सीधे गणना करने के बजाय - जो गहरे नेटवर्क के लिए अव्यावहारिक है - CLEVER इनपुट के चारों ओर एक गेंद के भीतर यादृच्छिक बिंदुओं पर ग्रेडिएंट्स का नमूना लेता है। फिर यह देखे गए अधिकतम ग्रेडिएंट परिमाण के लिए एक चरम मूल्य वितरण (विशेष रूप से, एक सामान्यीकृत चरम मूल्य वितरण) फिट करता है। अनुमानित पूंछ पैरामीटर का उपयोग न्यूनतम प्रतिकूल विरूपण पर एक संभाव्य निचली सीमा प्राप्त करने के लिए किया जाता है।
यह दृष्टिकोण सटीक सत्यापन में उपयोग किए जाने वाले मिश्रित-पूर्णांक प्रोग्रामिंग या SAT सॉल्वर की आवश्यकता से बचता है, जिससे CLEVER काफी तेज हो जाता है। परिणामी स्कोर एक आत्मविश्वास स्तर के साथ एक सन्निकटन है, सख्त गारंटी नहीं, लेकिन यह कई पिछले अनुमानी सीमाओं की तुलना में अधिक सख्त दिखाया गया है।
अनुप्रयोग और तुलना
CLEVER का उपयोग विभिन्न क्लासिफायर की मजबूती को बेंचमार्क करने के लिए किया गया है, जिसमें MNIST और CIFAR-10 जैसे छवि वर्गीकरण बेंचमार्क पर शामिल हैं। मूल्यांकन में, इसने हमले-आधारित मीट्रिक जैसे फास्ट ग्रेडिएंट साइन मेथड या प्रोजेक्टेड ग्रेडिएंट डिसेंट हमलों की तुलना में मॉडल मजबूती की अधिक सटीक रैंकिंग प्रदान की। उदाहरण के लिए, उच्च CLEVER स्कोर वाला मॉडल गलत वर्गीकरण का कारण बनने के लिए बड़े विक्षोभ की आवश्यकता दिखाया गया, जो बेहतर प्रतिकूल रक्षा के साथ सहसंबंधित है।
Reluplex या Planet जैसे औपचारिक सत्यापन उपकरणों की तुलना में, CLEVER कम सटीक है लेकिन लाखों मापदंडों वाले नेटवर्क तक फैलता है। इसे ReLU सक्रियण वाले फीडफॉरवर्ड नेटवर्क और कन्वोल्यूशनल आर्किटेक्चर पर लागू किया गया है, हालांकि ट्रांसफॉर्मर-आधारित मॉडलों के विस्तार कम्प्यूटेशनल लागत के कारण कम आम हैं।
विस्तार और विविधताएं
कई विस्तार प्रस्तावित किए गए हैं। मल्टी-CLEVER (2019) विधि को केवल सबसे खराब स्थिति के बजाय यादृच्छिक विक्षोभों के तहत मान्य त्रुटि सीमाओं की गणना करने के लिए विस्तारित करता है। रोबस्ट-CLEVER स्कोर को प्रतिकूल प्रशिक्षण में एक नियमितीकरणकर्ता के रूप में एकीकृत करता है, नेटवर्क को सपाट निर्णय सीमाओं की ओर मार्गदर्शन करता है। अन्य कार्यों ने CLEVER को \ell_2, \ell_\infty, और \ell_1 विक्षोभ मानदंडों को संभालने के लिए अनुकूलित किया है, जिसमें अनुरूप लिप्सचिट्ज़ अनुमान तकनीक प्रदान की गई है।
TensorFlow और PyTorch टूलबॉक्स सहित सॉफ्टवेयर कार्यान्वयन, शोधकर्ताओं को कस्टम मॉडल पर CLEVER स्कोर की गणना करने की अनुमति देते हैं। विधि का उपयोग यादृच्छिक स्मूथिंग रक्षाओं की मजबूती का अध्ययन करने के लिए भी किया गया है, जहां स्कोर का मूल्यांकन स्मूथ किए गए क्लासिफायर पर किया जाता है।
सीमाएं
CLEVER की चरम मूल्य सिद्धांत पर निर्भरता सांख्यिकीय अनिश्चितता का परिचय देती है। निचली सीमा केवल एक निर्दिष्ट संभावना (जैसे, 95%) के साथ मान्य है, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए स्वीकार्य नहीं हो सकती है। उच्च-आयामी इनपुट के लिए, आवश्यक ग्रेडिएंट नमूनों की संख्या बढ़ जाती है, जिससे गणना बढ़ जाती है। विधि यह भी मानती है कि हानि फ़ंक्शन स्थानीय रूप से लिप्सचिट्ज़ है, जो अधिकांश मानक नेटवर्क के लिए सही है लेकिन स्टेप फ़ंक्शन जैसी गैर-चिकनी सक्रियणों द्वारा उल्लंघन किया जा सकता है।
व्यवहार में, CLEVER कभी-कभी मजबूती को कम आंकता है - सीमा से छोटे प्रतिकूल विक्षोभ अभी भी परिष्कृत हमलों द्वारा पाए जा सकते हैं। इस अंतर ने अधिक कठोर प्रमाणपत्रों में आगे के शोध को प्रेरित किया, जैसे कि वर्णक्रमीय सामान्यीकरण या बाधा फ़ंक्शन के माध्यम से लिप्सचिट्ज़ स्थिरांक पर आधारित।
विरासत
CLEVER स्कोर ने मशीन लर्निंग में मजबूती सत्यापन के बढ़ते क्षेत्र में योगदान दिया। इसने प्रमाणित रक्षाओं की छत्रछाया के तहत स्थानीय मजबूती सीमाओं पर बाद के काम को प्रभावित किया, जैसे CROWN और SparseGROWN। हालांकि नए सत्यापन विधियां सख्त सीमाएं प्रदान करती हैं, CLEVER अनुभवजन्य अध्ययनों के लिए एक उपयोगी आधार रेखा बना हुआ है और कई प्रतिकूल मजबूती पत्रों में उद्धृत किया गया है।
यह भी देखें
- प्रतिकूल उदाहरण
- औपचारिक सत्यापन
- लिप्सचिट्ज़ निरंतरता
- तंत्रिका नेटवर्क मजबूती