समानीकृत ऑड्स (Equalized odds) मशीन लर्निंग वर्गीकरण प्रणालियों में निष्पक्षता का मूल्यांकन और प्रवर्तन करने के लिए एक मानदंड है। औपचारिक रूप से, एक भविष्यवक्ता \(\hat{Y}\) एक संरक्षित विशेषता \(A\) (जैसे नस्ल, लिंग, या आयु) और एक वास्तविक-सत्य लेबल \(Y\) के संबंध में समानीकृत ऑड्स को संतुष्ट करता है यदि \(P(\hat{Y} = 1 | A = a, Y = y) = P(\hat{Y} = 1 | A = b, Y = y)\) सभी समूहों \(a, b\) और सभी परिणामों \(y \in \{0,1\}\) के लिए। सरल शब्दों में, क्लासिफायर के पास सभी संरक्षित समूहों में समान सत्य सकारात्मक दर (रिकॉल) और समान गलत सकारात्मक दर होनी चाहिए, जो वास्तविक परिणाम पर सशर्त हो। यह अवधारणा 2016 के एक पेपर में मोरित्ज़ हार्ड्ट, एरिक प्राइस, और नाथन स्रेब्रो द्वारा पेश की गई थी, जिन्होंने इसे सरल जनसांख्यिकीय समानता (demographic parity) धारणाओं के विकल्प के रूप में प्रस्तावित किया था, जो लेबल वितरण को अनदेखा करती हैं।
समानीकृत ऑड्स की तुलना अक्सर जनसांख्यिकीय समानता से की जाती है, जो केवल सत्य लेबल पर सशर्त किए बिना समूहों में समान भविष्यवाणी दरों की आवश्यकता होती है। \(Y\) पर सशर्त करके, समानीकृत ऑड्स का उद्देश्य यह विचार पकड़ना है कि त्रुटियों को समान रूप से वितरित किया जाना चाहिए: किसी भी समूह के एक योग्य व्यक्ति के पास सकारात्मक रूप से वर्गीकृत होने का समान अवसर होना चाहिए, और एक अयोग्य व्यक्ति के पास गलत तरीके से स्वीकार किए जाने का समान अवसर होना चाहिए। यह समानीकृत ऑड्स को उच्च-दांव वाले क्षेत्रों जैसे कि भर्ती, ऋण, आपराधिक न्याय, और स्वास्थ्य देखभाल में विशेष रूप से प्रासंगिक बनाता है, जहां असमान त्रुटि दरें प्रणालीगत पूर्वाग्रह को बनाए रख सकती हैं।
औपचारिक परिभाषा और घटक
समानीकृत ऑड्स की स्थिति को दो अलग-अलग समानता बाधाओं में विभाजित किया जा सकता है: समान अवसर (equal opportunity) और समानीकृत गलत सकारात्मक दरें। समान अवसर मानदंड, जो उसी कार्य में पेश किया गया था, समूहों में समान सत्य सकारात्मक दरों की आवश्यकता है, अर्थात, \(P(\hat{Y} = 1 | A = a, Y = 1) = P(\hat{Y} = 1 | A = b, Y = 1)\)। यह सुनिश्चित करता है कि जिन व्यक्तियों को सकारात्मक रूप से वर्गीकृत किया जाना चाहिए, उनमें से सभी समूहों को सही भविष्यवाणियों की समान दर प्राप्त होती है। दूसरा घटक, समान गलत सकारात्मक दर, \(P(\hat{Y} = 1 | A = a, Y = 0) = P(\hat{Y} = 1 | A = b, Y = 0)\) की आवश्यकता है, जो सुनिश्चित करता है कि नकारात्मक परिणाम किसी भी समूह के लिए अधिक भविष्यवाणी नहीं किए जाते हैं।
जब दोनों स्थितियां एक साथ पूरी होती हैं, तो क्लासिफायर को समानीकृत ऑड्स को संतुष्ट करने वाला कहा जाता है। व्यवहार में, दोनों समानता बाधाओं को प्राप्त करना असंभव हो सकता है जब आधार दरें समूहों में भिन्न होती हैं, जिससे दो घटकों के बीच व्यापार-बंद होता है। कुछ अनुप्रयोग केवल समान अवसर की आवश्यकता को शिथिल करते हैं, विशेष रूप से जब गलत सकारात्मक की तुलना में गलत नकारात्मक कम परिणामी होते हैं।
मशीन लर्निंग प्रणालियों में कार्यान्वयन
समानीकृत ऑड्स को लागू करने के लिए अक्सर पोस्ट-प्रोसेसिंग या इन-प्रोसेसिंग तकनीकों की आवश्यकता होती है। एक सामान्य पोस्ट-प्रोसेसिंग दृष्टिकोण में बिना निष्पक्षता बाधाओं के एक क्लासिफायर को प्रशिक्षित करना शामिल है, फिर प्रस्तावित स्कोर के आधार पर प्रत्येक समूह के लिए अलग से निर्णय सीमा को समायोजित करना। हार्ड्ट, प्राइस, और स्रेब्रो ने दिखाया कि सत्य लेबल और समूह सदस्यता तक पहुंच दिए जाने पर, कोई भी समग्र हानि को कम करते हुए समानीकृत ऑड्स को संतुष्ट करने के लिए सीमाओं को इष्टतम रूप से कैलिब्रेट कर सकता है। हालांकि, इस विधि के लिए लेबल किए गए डेटा की आवश्यकता होती है और यह पूरी तरह से अप्रतिबंधित सेटिंग्स तक विस्तारित नहीं हो सकती है।
इन-प्रोसेसिंग विधियां प्रशिक्षण के दौरान सीधे हानि फ़ंक्शन में निष्पक्षता बाधाओं को शामिल करती हैं। उदाहरण के लिए, एक दंड शब्द जोड़ना जो समूहों में त्रुटि दरों में अंतर को मापता है, या प्रतिकूल प्रशिक्षण का उपयोग करना जहां एक विभेदक क्लासिफायर के आउटपुट से समूह सदस्यता की भविष्यवाणी करने की कोशिश करता है। ये दृष्टिकोण अक्सर आधुनिक Deep learning पाइपलाइनों में उपयोग किए जाते हैं, जहां Adam (Optimizer) या Stochastic Gradient Descent Variants के साथ ग्रेडिएंट-आधारित अनुकूलन विभेदक निष्पक्षता दंड को समायोजित कर सकता है।
हाल के काम ने समानीकृत ऑड्स को अधिक जटिल मॉडलों तक बढ़ाया है, जिसमें Neural network आर्किटेक्चर और Generative AI प्रणालियां शामिल हैं। हालांकि, बहु-वर्ग या प्रतिगमन सेटिंग्स में समानीकृत ऑड्स को मापना चुनौतीपूर्ण बना हुआ है, क्योंकि द्विआधारी परिभाषा सीधे सामान्यीकृत नहीं होती है। शोधकर्ताओं ने बहुभिन्नरूपी विस्तार और समूह-सशर्त अंशांकन उपायों का प्रस्ताव किया है, लेकिन कोई एक मानक प्रभावी नहीं है।
अन्य निष्पक्षता धारणाओं से संबंध
समानीकृत ऑड्स सांख्यिकीय निष्पक्षता मानदंडों के एक व्यापक परिवार के भीतर स्थित है। जनसांख्यिकीय समानता, जिसे सांख्यिकीय समानता के रूप में भी जाना जाता है, \(P(\hat{Y} = 1 | A = a) = P(\hat{Y} = 1 | A = b)\) की आवश्यकता है, जो इस अर्थ में मजबूत है कि यह समग्र भविष्यवाणी दरों को बाधित करता है लेकिन तब भी संतुष्ट हो सकता है जब त्रुटि दरें भिन्न हों। दूसरी ओर, अंशांकन (calibration) की आवश्यकता है कि किसी भी भविष्यवाणी की संभावना \(p\) के लिए, सत्य परिणाम की संभावना सभी समूहों के लिए \(p\) हो, जो समानीकृत ऑड्स से संबंधित है लेकिन इसका तात्पर्य नहीं है।
जॉन क्लेनबर्ग, सेंधिल मुल्लैनाथन, और मनीष राघवन (2016) द्वारा महत्वपूर्ण असंभवता परिणाम ने दिखाया कि जब आधार दरें भिन्न होती हैं, तो कोई भी क्लासिफायर एक साथ अंशांकन, समानीकृत ऑड्स, और जनसांख्यिकीय समानता को संतुष्ट नहीं कर सकता है जब तक कि यह पूर्ण न हो। इस व्यापार-बंद ने इस बात पर बहस छेड़ दी है कि विशिष्ट अनुप्रयोगों के लिए कौन सा निष्पक्षता मीट्रिक सबसे उपयुक्त है। समानीकृत ऑड्स को अक्सर उन सेटिंग्स में पसंद किया जाता है जहां त्रुटियां लागत में असममित होती हैं, जैसे चिकित्सा निदान में जहां एक स्थिति को याद करना (गलत नकारात्मक) गलत सकारात्मक से अधिक हानिकारक होता है।
आलोचनाएं और सीमाएं
समानीकृत ऑड्स की एक आलोचना यह है कि यह मानता है कि वास्तविक-सत्य लेबल \(Y\) निष्पक्ष है। यदि ऐतिहासिक लेबल स्वयं भेदभाव से दूषित हैं, तो समानीकृत ऑड्स मौजूदा असमानताओं को सुधारने के बजाय बनाए रख सकता है। उदाहरण के लिए, यदि गिरफ्तारी रिकॉर्ड कुछ समुदायों को कम प्रतिनिधित्व देते हैं, तो इन लेबलों पर समानीकृत ऑड्स के साथ प्रशिक्षित एक क्लासिफायर अभी भी उन समूहों को नुकसान पहुंचा सकता है। यह मुद्दा सावधानीपूर्वक डेटा संग्रह और लेबल ऑडिटिंग के महत्व को उजागर करता है।
एक और सीमा यह है कि समानीकृत ऑड्स व्यक्तिगत स्तर पर त्रुटियों के परिणामों के लिए जिम्मेदार नहीं है; यह केवल समूह-स्तरीय दरों पर विचार करता है। दो समूहों में समान सत्य और गलत सकारात्मक दरें हो सकती हैं, फिर भी उन त्रुटियों का डाउनस्ट्रीम प्रभाव संसाधन आवंटन या सामाजिक संदर्भ में अंतर के कारण काफी भिन्न हो सकता है। इसके अलावा, द्विआधारी परिणाम सेटिंग रैंकिंग या स्कोरिंग संदर्भों को पकड़ नहीं पाती है, जहां सीमाएं निश्चित नहीं होती हैं।
अनुप्रयोग और वर्तमान अनुसंधान
समानीकृत ऑड्स को क्रेडिट स्कोरिंग, पुनरावृत्ति भविष्यवाणी (जैसे COMPAS जैसे उपकरणों के साथ), और एल्गोरिथमिक भर्ती जैसे क्षेत्रों में लागू किया गया है। कंपनियां और अनुसंधान प्रयोगशालाएं, जिनमें Google DeepMind और University of Oxford समूह शामिल हैं, ने वास्तविक दुनिया की प्रणालियों में निष्पक्षता बाधाओं को शामिल करने की खोज की है। उदाहरण के लिए, रोगी पुनः प्रवेश की भविष्यवाणी के लिए स्वास्थ्य देखभाल में निष्पक्ष वर्गीकरण मॉडल का परीक्षण किया गया है, जहां नस्लीय समूहों में अलग-अलग गलत नकारात्मक दरें देखी गईं।
समकालीन शोध शोर लेबल, लापता समूह जानकारी, और निरंतर संरक्षित विशेषताओं के लिए सख्त समानीकृत ऑड्स आवश्यकता को शिथिल करने पर केंद्रित है। Large language model आउटपुट में निष्पक्षता भी उभरी है, हालांकि पाठ निर्माण के लिए समानीकृत ऑड्स को मापना आसान नहीं है। 2020 के दशक के मध्य तक, एक सार्वभौमिक निष्पक्षता मीट्रिक पर कोई सहमति नहीं है, लेकिन समानीकृत ऑड्स एल्गोरिथमिक निष्पक्षता साहित्य में एक मौलिक अवधारणा बनी हुई है, जिसे Stanford AI Lab और MIT CSAIL जैसे संस्थानों में पाठ्यक्रमों में पढ़ाया जाता है।
यह भी देखें
- जनसांख्यिकीय समानता (प्रदान किए गए स्लग में नहीं, छोड़ें)
- एल्गोरिथमिक निष्पक्षता (प्रदान किए गए स्लग में नहीं, छोड़ें)
(नोट: प्रासंगिक स्लग की कमी के कारण यह भी देखें अनुभाग छोड़ा गया है।)
संदर्भ
- हार्ड्ट, एम., प्राइस, ई., स्रेब्रो, एन. (2016)। पर्यवेक्षित शिक्षण में अवसर की समानता।
- क्लेनबर्ग, जे., मुल्लैनाथन, एस., राघवन, एम. (2016)। जोखिम स्कोर के निष्पक्ष निर्धारण में अंतर्निहित व्यापार-बंद।