एल्गोरिदमिक पूर्वाग्रह एक एल्गोरिदमिक प्रणाली द्वारा उत्पन्न व्यवस्थित और अनुचित भेदभाव को संदर्भित करता है, जो अक्सर एक मशीन-लर्निंग मॉडल होता है जिसकी भविष्यवाणियाँ या आउटपुट नस्ल, लिंग, आयु, या अन्य संरक्षित विशेषताओं द्वारा परिभाषित विशेष समूहों को नुकसान पहुँचाते हैं। चूँकि ऐसी प्रणालियाँ प्रशिक्षण-डेटा से सांख्यिकीय पैटर्न सीखती हैं, वे उस डेटा में पहले से मौजूद या समस्या के निरूपण, लेबलिंग, या मूल्यांकन के तरीके से उत्पन्न पूर्वाग्रहों को पुन: उत्पन्न करती हैं और उन्हें बढ़ा सकती हैं। एल्गोरिदमिक पूर्वाग्रह एआई-नैतिकता के भीतर एक केंद्रीय चिंता है और इसने तकनीकी शमन अनुसंधान और तैनात प्रणालियों की कानूनी जाँच दोनों को प्रेरित किया है।
पूर्वाग्रह के स्रोत
शोधकर्ता आमतौर पर कई स्रोतों में अंतर करते हैं। ऐतिहासिक पूर्वाग्रह स्वयं डेटा में मौजूद होता है, उदाहरण के लिए जब पिछले नियुक्ति निर्णय भेदभाव को दर्शाते थे जिसे एक मॉडल फिर सीखकर दोहराता है। प्रतिनिधित्व पूर्वाग्रह तब उत्पन्न होता है जब कुछ समूहों को डेटासेट में कम नमूना किया जाता है, जिससे उनके लिए मॉडल की सटीकता घट जाती है; यह 2018 में जॉय बुओलामविनी और टिम्निट गेब्रू द्वारा किए गए "जेंडर शेड्स" ऑडिट का केंद्र बिंदु था, जिसमें पाया गया कि वाणिज्यिक चेहरा-पहचान प्रणालियाँ गहरे रंग की महिलाओं पर हल्के रंग के पुरुषों की तुलना में काफी खराब प्रदर्शन करती हैं। माप पूर्वाग्रह तब होता है जब मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाने वाला प्रॉक्सी, जैसे अपराध के स्थान पर गिरफ्तारी दर, स्वयं अंतर्निहित अवधारणा का एक पक्षपाती माप होता है। एकत्रीकरण पूर्वाग्रह एक मॉडल को उन समूहों पर समान रूप से लागू करने से उत्पन्न होता है जिनके लिए अंतर्निहित संबंध भिन्न होते हैं।
हाई-प्रोफाइल मामले
कई दस्तावेजी मामलों ने सार्वजनिक और शैक्षणिक चर्चा को आकार दिया। अमेरिकी अदालतों में उपयोग किया जाने वाला COMPAS पुनरावृत्ति-भविष्यवाणी उपकरण 2016 की ProPublica जाँच का विषय था, जिसमें पाया गया कि प्रणाली ने वास्तविक पुनरावृत्ति दरों के सापेक्ष काले प्रतिवादियों को सफेद प्रतिवादियों की तुलना में लगभग दोगुनी दर से भविष्य के जोखिम के रूप में चिह्नित किया, हालाँकि शोधकर्ताओं ने बाद में बहस की कि यह निष्कर्ष निष्पक्षता की किस सांख्यिकीय परिभाषा पर निर्भर करता है। Amazon ने 2018 में एक आंतरिक AI भर्ती उपकरण को बंद कर दिया, जब यह पता चला कि यह "महिलाओं" शब्द वाले बायोडाटा को दंडित करता है, जो एक दशक के पुरुष-प्रधान नियुक्ति डेटा से सीखा गया पैटर्न था। चेहरा-पहचान ऑडिट, जिसमें अमेरिकी राष्ट्रीय मानक और प्रौद्योगिकी संस्थान का 2019 का 100 से अधिक प्रणालियों का अध्ययन शामिल है, ने बार-बार महिलाओं और गहरे रंग की त्वचा वाले लोगों के लिए उच्च त्रुटि दर पाई, जिससे कई अमेरिकी शहरों ने पुलिस द्वारा इस तकनीक के उपयोग पर प्रतिबंध लगाया और कुछ विक्रेताओं ने कानून प्रवर्तन को बिक्री रोक दी।
शमन और माप
तकनीकी प्रतिक्रियाओं में जनसांख्यिकीय समानता या समानीकृत बाधाओं जैसे निष्पक्षता मेट्रिक्स के विरुद्ध मॉडलों का ऑडिट करना, प्रशिक्षण डेटा को पुनर्संतुलित या संवर्धित करना, और मॉडल आउटपुट पर पोस्ट-प्रोसेसिंग समायोजन लागू करना शामिल है; एक बड़े शोध साहित्य ने यह भी दिखाया है कि विभिन्न निष्पक्षता परिभाषाएँ गणितीय रूप से एक-दूसरे के साथ असंगत हो सकती हैं, जिसका अर्थ है कि एक मीट्रिक को संतुष्ट करने के लिए दूसरे का उल्लंघन करना आवश्यक हो सकता है। व्याख्यात्मक-एआई के उपकरण अक्सर निष्पक्षता ऑडिट के साथ उपयोग किए जाते हैं ताकि यह पहचानने में मदद मिल सके कि कौन से इनपुट विशेषताएँ असमान परिणामों को चलाती हैं। पूर्वाग्रह की चिंताएँ बड़े-भाषा-मॉडल प्रणालियों के युग में भी विस्तारित हुई हैं, जहाँ शोधकर्ताओं ने उत्पन्न पाठ और छवियों में रूढ़िबद्ध संबंधों का दस्तावेजीकरण किया है, जिसमें पाठ-से-छवि प्रणालियाँ शामिल हैं।
शासन प्रतिक्रिया
एल्गोरिदमिक पूर्वाग्रह विनियमन के लिए एक आवर्ती औचित्य बन गया है, जो ईयू-एआई-अधिनियम के जोखिम-स्तरीकरण में और पहले के अमेरिकी प्रस्तावों जैसे एल्गोरिदमिक जवाबदेही अधिनियम में स्पष्ट रूप से दिखाई देता है। यह एआई-शासन के व्यापक क्षेत्र में सबसे अधिक मुकदमेबाजी और सबसे अधिक अनुभवजन्य रूप से दस्तावेजी नुकसानों में से एक बना हुआ है।