प्रतिकूल मशीन लर्निंग मशीन लर्निंग एल्गोरिदम पर हमलों और ऐसे हमलों के विरुद्ध बचाव का अध्ययन है। यह जांचता है कि दुर्भावनापूर्ण अभिनेता गलत भविष्यवाणियां करने के लिए डेटा या मॉडल व्यवहार में जानबूझकर हेरफेर कैसे कर सकते हैं, और इन हेरफेरों के खिलाफ मॉडल को अधिक मजबूत कैसे बनाया जाए। यह क्षेत्र स्पैम फ़िल्टरिंग पर प्रारंभिक कार्य से बढ़कर कंप्यूटर विज़न, मैलवेयर डिटेक्शन और स्वायत्त प्रणालियों को शामिल करने वाले एक व्यापक अनुशासन में विकसित हुआ है।
मशीन लर्निंग तकनीकें अधिकतर विशिष्ट समस्या सेटों पर काम करने के लिए डिज़ाइन की गई हैं, इस धारणा के तहत कि प्रशिक्षण और परीक्षण डेटा एक ही सांख्यिकीय वितरण (IID) से उत्पन्न होते हैं। हालाँकि, यह धारणा व्यावहारिक उच्च-दांव वाले अनुप्रयोगों में अक्सर उल्लंघन की जाती है, जहाँ उपयोगकर्ता जानबूझकर ऐसा गढ़ा हुआ डेटा प्रस्तुत कर सकते हैं जो सांख्यिकीय धारणा का उल्लंघन करता है। प्रतिकूल मशीन लर्निंग इस अंतर को संबोधित करता है, दोनों उन हमलों का अध्ययन करके जो ऐसे उल्लंघनों का शोषण करते हैं और उन बचावों का जो उन्हें कम करते हैं।
प्रतिकूल मशीन लर्निंग में सबसे आम हमलों में चोरी-छिपे हमले, डेटा विषाक्तता हमले, बीजान्टिन हमले और मॉडल निष्कर्षण शामिल हैं। चोरी-छिपे हमले ऐसे इनपुट तैयार करते हैं जिन्हें परीक्षण के समय गलत वर्गीकृत किया जाता है, जबकि डेटा विषाक्तता हमले प्रशिक्षण डेटा को ही दूषित कर देते हैं। बीजान्टिन हमले कुछ प्रतिभागियों से समझौता करके वितरित शिक्षण प्रणालियों को लक्षित करते हैं, और मॉडल निष्कर्षण क्वेरी के माध्यम से मॉडल की कार्यक्षमता चुराने का प्रयास करता है।
इतिहास
जनवरी 2004 में MIT स्पैम सम्मेलन में, जॉन ग्राहम-कमिंग ने दिखाया कि एक मशीन-लर्निंग स्पैम फ़िल्टर का उपयोग किसी अन्य मशीन-लर्निंग स्पैम फ़िल्टर को हराने के लिए किया जा सकता है, स्वचालित रूप से यह सीखकर कि स्पैम ईमेल को गैर-स्पैम के रूप में वर्गीकृत करने के लिए उसमें कौन से शब्द जोड़ने हैं। 2004 में, नीलेश दलवी और अन्य ने नोट किया कि स्पैम फ़िल्टर में उपयोग किए जाने वाले रैखिक क्लासिफायर को सरल चोरी-छिपे हमलों से हराया जा सकता है, क्योंकि स्पैमर्स अपने स्पैम ईमेल में "अच्छे शब्द" डालते थे। लगभग 2007 में, कुछ स्पैमर्स ने OCR-आधारित फ़िल्टर को हराने के लिए "इमेज स्पैम" में शब्दों को धुंधला करने के लिए यादृच्छिक शोर जोड़ा।
2006 में, मार्को बैरेनो और अन्य ने "क्या मशीन लर्निंग सुरक्षित हो सकती है?" प्रकाशित किया, जिसमें हमलों की एक व्यापक वर्गीकरण रूपरेखा प्रस्तुत की गई। 2013 तक, कई शोधकर्ताओं को उम्मीद थी कि गैर-रेखीय क्लासिफायर (जैसे सपोर्ट वेक्टर मशीन और तंत्रिका नेटवर्क) प्रतिकूल परिस्थितियों के प्रति मजबूत हो सकते हैं, जब तक कि बतिस्ता बिगियो और अन्य ने 2012-2013 में ऐसे मशीन-लर्निंग मॉडल पर पहले ग्रेडिएंट-आधारित हमलों का प्रदर्शन नहीं किया।
2012 में, गहरे तंत्रिका नेटवर्क कंप्यूटर विज़न समस्याओं पर हावी होने लगे। 2014 से शुरू करके, क्रिश्चियन सेगेडी और अन्य ने प्रदर्शित किया कि गहरे तंत्रिका नेटवर्क को प्रतिकूल परिस्थितियों से मूर्ख बनाया जा सकता है, फिर से ग्रेडिएंट-आधारित हमले का उपयोग करके प्रतिकूल गड़बड़ी तैयार की गई। ये प्रतिकूल उदाहरण छोटे, अक्सर अगोचर परिवर्तनों वाले इनपुट हैं जो गलत वर्गीकरण का कारण बनते हैं।
आगे के काम से पता चला कि अनियंत्रित वातावरण में प्रतिकूल हमले पैदा करना कठिन है, विभिन्न पर्यावरणीय बाधाओं के कारण जो शोर के प्रभाव को रद्द कर देती हैं। उदाहरण के लिए, एक प्रतिकूल छवि पर कोई भी छोटा घुमाव या हल्की रोशनी प्रतिकूलता को नष्ट कर सकती है। गूगल ब्रेन के निक फ्रॉस्ट जैसे शोधकर्ता बताते हैं कि प्रतिकूल उदाहरण बनाने की तुलना में स्टॉप साइन को भौतिक रूप से हटाकर स्वायत्त कारों को स्टॉप साइन से चूक जाना बहुत आसान है। फ्रॉस्ट यह भी मानते हैं कि प्रतिकूल मशीन लर्निंग समुदाय गलत तरीके से मानता है कि एक निश्चित डेटा वितरण पर प्रशिक्षित मॉडल पूरी तरह से अलग डेटा वितरण पर भी अच्छा प्रदर्शन करेंगे। उनका सुझाव है कि मशीन लर्निंग के लिए एक नए दृष्टिकोण की खोज की जानी चाहिए, और वे वर्तमान में एक अद्वितीय तंत्रिका नेटवर्क पर काम कर रहे हैं जिसमें अत्याधुनिक दृष्टिकोणों की तुलना में मानवीय धारणा के समान विशेषताएं हैं।
जबकि प्रतिकूल मशीन लर्निंग अभी भी काफी हद तक शिक्षा जगत में निहित है, गूगल, माइक्रोसॉफ्ट और IBM जैसी बड़ी तकनीकी कंपनियों ने दस्तावेज़ीकरण और ओपन सोर्स कोड बेस तैयार करना शुरू कर दिया है ताकि दूसरों को मशीन लर्निंग मॉडल की मजबूती का ठोस आकलन करने और प्रतिकूल हमलों के जोखिम को कम करने में मदद मिल सके।
हमले की वर्गीकरण
प्रतिकूल हमलों को कई आयामों के साथ वर्गीकृत किया जा सकता है: हमलावर का ज्ञान (व्हाइट-बॉक्स बनाम ब्लैक-बॉक्स), लक्ष्य (गलत वर्गीकरण, लक्षित गलत वर्गीकरण, या मॉडल चोरी), और मशीन लर्निंग पाइपलाइन का चरण जिस पर हमला होता है (प्रशिक्षण या अनुमान)। चोरी-छिपे हमले अनुमान के समय होते हैं, जहां एक हमलावर मॉडल को गलत भविष्यवाणी करने के लिए इनपुट डेटा को संशोधित करता है। डेटा विषाक्तता हमले प्रशिक्षण के समय होते हैं, जहां एक हमलावर मॉडल के व्यवहार को दूषित करने के लिए प्रशिक्षण सेट में दुर्भावनापूर्ण नमूने इंजेक्ट करता है। बीजान्टिन हमले वितरित या संघीय शिक्षण प्रणालियों को लक्षित करते हैं, एक या अधिक प्रतिभागियों से समझौता करके, केंद्रीय मॉडल को दुर्भावनापूर्ण अपडेट भेजते हैं। मॉडल निष्कर्षण हमलों का उद्देश्य क्वेरी करके और आउटपुट देखकर मॉडल की कार्यक्षमता को दोहराना है, संभावित रूप से बौद्धिक संपदा चुराना या कमजोरियों की पहचान करना।
व्यवहार में चोरी-छिपे हमले
कई वास्तविक दुनिया के परिदृश्यों में चोरी-छिपे हमलों का प्रदर्शन किया गया है। स्पैम फ़िल्टरिंग में, "खराब" शब्दों की गलत वर्तनी या "अच्छे" शब्दों के सम्मिलन के माध्यम से स्पैम संदेशों को अस्पष्ट किया जाता है। कंप्यूटर सुरक्षा में, हमलावर नेटवर्क पैकेट के भीतर मैलवेयर कोड को अस्पष्ट करते हैं या घुसपैठ का पता लगाने को गुमराह करने के लिए नेटवर्क प्रवाह की विशेषताओं को संशोधित करते हैं। बायोमेट्रिक पहचान में, एक वैध उपयोगकर्ता के रूप में प्रस्तुत होने के लिए नकली बायोमेट्रिक विशेषताओं का शोषण किया जा सकता है, या उन उपयोगकर्ताओं के टेम्पलेट गैलरी से समझौता करने के लिए जो समय के साथ अद्यतन विशेषताओं के अनुकूल होते हैं।
शोधकर्ताओं ने दिखाया कि केवल एक पिक्सेल बदलकर गहन शिक्षण एल्गोरिदम को मूर्ख बनाना संभव था। अन्य ने एक खिलौना कछुआ 3D-प्रिंट किया जिसकी बनावट गूगल की ऑब्जेक्ट डिटेक्शन AI को कछुए को देखने के कोण की परवाह किए बिना राइफल के रूप में वर्गीकृत करने के लिए इंजीनियर की गई थी। कछुआ बनाने के लिए केवल कम लागत वाली व्यावसायिक रूप से उपलब्ध 3D प्रिंटिंग तकनीक की आवश्यकता थी। एक मशीन-समायोजित कुत्ते की छवि कंप्यूटर और मनुष्यों दोनों को बिल्ली की तरह दिखाई दी। 2019 के एक अध्ययन ने बताया कि मनुष्य अनुमान लगा सकते हैं कि मशीनें प्रतिकूल छवियों को कैसे वर्गीकृत करेंगी।
शोधकर्ताओं ने स्टॉप साइन की उपस्थिति को बाधित करने के तरीकों की खोज की, जिससे एक स्वायत्त वाहन इसे मर्ज या गति सीमा साइन के रूप में वर्गीकृत करे। एक उल्लेखनीय प्रदर्शन में, मैक्एफी ने टेस्ला की पूर्व मोबाइलआई प्रणाली पर हमला किया, इसे गति सीमा साइन पर दो इंच की काली टेप की पट्टी जोड़कर गति सीमा से 50 मील प्रति घंटे अधिक चलाने के लिए मूर्ख बनाया। चेहरे की पहचान प्रणाली या लाइसेंस प्लेट रीडर को धोखा देने के लिए डिज़ाइन किए गए चश्मे या कपड़ों पर प्रतिकूल पैटर्न ने "स्टील्थ स्ट्रीटवियर" के एक आला उद्योग को जन्म दिया है।
तंत्रिका नेटवर्क पर एक प्रतिकूल हमला एक हमलावर को लक्ष्य प्रणाली में एल्गोरिदम इंजेक्ट करने की अनुमति दे सकता है। शोधकर्ता सौम्य-प्रतीत होने वाले ऑडियो में बुद्धिमान सहायकों को आदेश छिपाने के लिए प्रतिकूल ऑडियो इनपुट भी बना सकते हैं; एक समानांतर साहित्य ऐसे उत्तेजनाओं की मानवीय धारणा की पड़ताल करता है।
डेटा विषाक्तता और जनरेटिव हमले
डेटा विषाक्तता हमलों का उद्देश्य प्रशिक्षण डेटा को दूषित करना है। एक उल्लेखनीय उदाहरण नाइटशेड फ़िल्टर है, जिसे 2023 में शिकागो विश्वविद्यालय के शोधकर्ताओं द्वारा जारी किया गया था। इसे दृश्य कलाकारों द्वारा अपनी कलाकृति पर लगाने के लिए बनाया गया था ताकि टेक्स्ट-टू-इमेज मॉडल के डेटा सेट को दूषित किया जा सके, जो आमतौर पर छवि निर्माता की सहमति के बिना इंटरनेट से अपना डेटा स्क्रैप करते हैं। यह हमला डेटा विषाक्तता का एक रूप है जो जनरेटिव मॉडल के प्रदर्शन को ख़राब कर सकता है।
मैलवेयर डिटेक्शन के संदर्भ में, शोधकर्ताओं ने प्रतिकूल मैलवेयर जनरेशन के तरीकों का प्रस्ताव दिया है जो दुर्भावनापूर्ण कार्यक्षमता को संरक्षित करते हुए लर्निंग-आधारित डिटेक्टरों से बचने के लिए स्वचालित रूप से बाइनरी तैयार करते हैं। GAMMA जैसे अनुकूलन-आधारित हमले विंडोज़ निष्पादनयोग्य में सौम्य सामग्री (उदाहरण के लिए, पैडिंग या नए PE अनुभाग) इंजेक्ट करने के लिए आनुवंशिक एल्गोरिदम का उपयोग करते हैं, चोरी को एक बाधित अनुकूलन समस्या के रूप में तैयार करते हैं जो इंजेक्ट किए गए पेलोड के आकार के साथ गलत वर्गीकरण की सफलता को संतुलित करता है और वाणिज्यिक एंटीवायरस उत्पादों में स्थानांतरणीयता दिखाता है। पूरक कार्य जनरेटिव एडवरसैरियल नेटवर्क (GAN) का उपयोग फीचर-स्पेस गड़बड़ी सीखने के लिए करता है जो मैलवेयर को सौम्य के रूप में वर्गीकृत करने का कारण बनता है; Mal-LSGAN, उदाहरण के लिए, मानक GAN हानि को कम से कम-वर्ग उद्देश्य और संशोधित सक्रियण कार्यों के साथ बदल देता है ताकि प्रशिक्षण स्थिरता में सुधार हो और प्रतिकूल मैलवेयर उदाहरण तैयार हों जो कई डिटेक्टरों में सही सकारात्मक दरों को काफी कम करते हैं।
उभरते अनुप्रयोगों पर प्रतिकूल हमले
उभरते प्रतिकूल हमले मानव-क्रिया पहचान प्रणालियों में भी अत्यधिक प्रभावी हैं, जो निगरानी, स्वायत्त वाहनों और इन-हाउस निगरानी जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए व्यापक रूप से उपयोग किए जाते हैं। इन हमलों में, हमलावर पहचान प्रणालियों को मूर्ख बनाने के लिए मानव सुविधाओं के प्रतिनिधित्व में शोर पेश करते हैं। इन हमलों के लिए आवश्यक रूप से पहचान प्रणालियों तक पहुंच की आवश्यकता नहीं होती है, और वे ऐसी प्रणालियों के मानव उपयोगकर्ताओं के लिए अगोचर हो सकते हैं।
क्लस्टरिंग एल्गोरिदम का उपयोग सुरक्षा अनुप्रयोगों में किया जाता है। मैलवेयर और कंप्यूटर वायरस विश्लेषण का उद्देश्य मैलवेयर परिवारों की पहचान करना और विशिष्ट डिटेक्शन सिग्नेचर उत्पन्न करना है। क्लस्टरिंग पर प्रतिकूल हमले असमान वस्तुओं के समूहन या समान वस्तुओं के पृथक्करण का कारण बन सकते हैं, जिससे सुरक्षा विश्लेषण कमजोर हो जाता है।
बचाव
प्रतिकूल हमलों के खिलाफ बचाव कई श्रेणियों में आते हैं। प्रतिकूल प्रशिक्षण में मॉडल को अधिक मजबूत बनाने के लिए प्रशिक्षण सेट को प्रतिकूल उदाहरणों के साथ बढ़ाना शामिल है। इनपुट प्रीप्रोसेसिंग तकनीकें, जैसे डीनोइज़िंग या फीचर स्क्वीज़िंग, वर्गीकरण से पहले गड़बड़ी को हटाने का लक्ष्य रखती हैं। डिटेक्शन विधियां मॉडल आत्मविश्वास या आंतरिक सक्रियणों का विश्लेषण करके प्रतिकूल इनपुट की पहचान करने का प्रयास करती हैं। मॉडल हार्डनिंग दृष्टिकोण, जैसे रक्षात्मक आसवन, हमलावरों के लिए प्रभावी गड़बड़ी तैयार करना कठिन बनाते हैं। हालाँकि, कोई सार्वभौमिक बचाव मौजूद नहीं है, और हमलावर लगातार नए बचावों के अनुकूल होते हैं, जिससे एक चल रही हथियारों की दौड़ होती है।