एनआईएसटी फेस रिकग्निशन वेंडर टेस्ट

फेस रिकग्निशन वेंडर टेस्ट (FRVT) अमेरिकी राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (NIST) द्वारा आयोजित फेस रिकग्निशन सिस्टम के बड़े पैमाने पर, स्वतंत्र मूल्यांकन की एक श्रृंखला है। 2000 में शुरू की गई, यह कार्यक्रम आवधिक मूल्यांकन से एक सतत प्रयास में विकसित हुआ है जो दुनिया भर के विक्रेताओं और शोध संस्थानों द्वारा प्रस्तुत एल्गोरिदम का लगातार बेंचमार्क करता है। FRVT विभिन्न प्रकार की छवियों और परिचालन परिदृश्यों में फेस रिकग्निशन तकनीक की सटीकता, गति और मजबूती को मापता है, और इसके परिणाम सरकारी एजेंसियों, उद्योग और शोधकर्ताओं द्वारा अत्याधुनिक स्थिति का आकलन करने के लिए व्यापक रूप से उपयोग किए जाते हैं।

FRVT श्रृंखला पहले के NIST मूल्यांकनों पर आधारित है, विशेष रूप से 1994, 1995 और 1996 में आयोजित फेस रिकग्निशन टेक्नोलॉजी (FERET) मूल्यांकन। जबकि FERET ने मौलिक परीक्षण पद्धतियाँ स्थापित कीं, FRVT ने बड़े डेटासेट, अधिक चुनौतीपूर्ण इमेजरी और कार्यों की एक व्यापक श्रेणी को शामिल करने के लिए दायरे का विस्तार किया। समय के साथ, कार्यक्रम में वीडियो में चेहरे की पहचान, चेहरे के मॉर्फिंग का पता लगाने, और एल्गोरिदम प्रदर्शन पर उम्र, लिंग और नस्ल जैसे जनसांख्यिकीय प्रभावों के विश्लेषण के लिए विशेष उप-परीक्षण शामिल हो गए हैं।

FRVT 2006

2006 में आयोजित FRVT 2006 मूल्यांकन, श्रृंखला में एक प्रमुख मील का पत्थर था। इसका प्राथमिक लक्ष्य FRVT 2002 मूल्यांकन के बाद से प्रोटोटाइप और वाणिज्यिक फेस रिकग्निशन सिस्टम में प्रगति को मापना था। मूल्यांकन ने उच्च-रिज़ॉल्यूशन स्थिर इमेजरी (5 से 6 मेगापिक्सेल), 3D चेहरे के स्कैन, बहु-नमूना स्थिर चेहरे की इमेजरी, और मुद्रा और रोशनी की भिन्नताओं की भरपाई के लिए डिज़ाइन किए गए प्री-प्रोसेसिंग एल्गोरिदम पर प्रदर्शन का आकलन किया।

सटीक मूल्यांकन सुनिश्चित करने के लिए, FRVT 2006 ने अनुक्रमित डेटा - शोधकर्ताओं या डेवलपर्स द्वारा पहले नहीं देखी गई छवियाँ - और एक मानकीकृत परीक्षण पद्धति का उपयोग किया। सभी प्रतिभागियों का मूल्यांकन एक सामान्य डेटासेट और बायोमेट्रिक प्रयोग वातावरण (BEE) नामक परीक्षण वातावरण का उपयोग करके समान रूप से किया गया। BEE ने परीक्षण डेटा प्रबंधन, प्रयोग कॉन्फ़िगरेशन और परिणाम प्रसंस्करण को सरल बनाया, जिससे प्रयोगकर्ता एल्गोरिदम विकास पर ध्यान केंद्रित कर सके। मूल्यांकन कई अमेरिकी सरकारी एजेंसियों द्वारा प्रायोजित था और NIST द्वारा प्रबंधित किया गया था।

FRVT 2006 का एक उद्देश्य स्वतंत्र रूप से यह निर्धारित करना था कि क्या फेस रिकग्निशन ग्रैंड चैलेंज (FRGC) के लक्ष्य प्राप्त हुए थे। FRGC, मई 2004 से मार्च 2006 तक आयोजित एक अलग एल्गोरिदम विकास परियोजना, का उद्देश्य FRVT 2002 में मूल्यांकन किए गए एल्गोरिदम से एक परिमाण बेहतर फेस रिकग्निशन एल्गोरिदम तैयार करना था। FRGC डेटा उन शोधकर्ताओं के लिए उपलब्ध है जो आवश्यक लाइसेंस पर हस्ताक्षर करते हैं और डेटा रिलीज़ नियमों का पालन करते हैं।

FRVT 2006 परिणाम

FRVT 2006 के बड़े पैमाने के परिणाम आइरिस चैलेंज इवैल्यूएशन (ICE) 2006 के साथ एक संयुक्त रिपोर्ट में प्रकाशित किए गए थे। मूल्यांकन में 10 देशों के 22 संगठनों से इनपुट लिया गया, जिनमें से कई ने कई एल्गोरिदम प्रस्तुत किए। रिपोर्ट ने समय के साथ त्रुटि दरों में नाटकीय सुधार का दस्तावेजीकरण किया। उदाहरण के लिए, 0.001 की गलत स्वीकृति दर (FAR) पर गलत अस्वीकृति दर (FRR) 1993 में 0.79 से सुधरकर 2006 में 0.01 हो गई - लगभग दो परिमाण की कमी। इस सुधार का एक हिस्सा उच्च-गुणवत्ता वाली चेहरे की छवियों के लिए जिम्मेदार ठहराया गया था। 2006 में सर्वोत्तम परिणाम बहुत उच्च-रिज़ॉल्यूशन स्थिर छवियों (6 मेगापिक्सेल) और 3D स्कैन का उपयोग करने वाले एल्गोरिदम से आए।

फेस रिकग्निशन प्राइज़ चैलेंज 2017

2017 में आयोजित फेस रिकग्निशन प्राइज़ चैलेंज (FRPC) ने कड़े गुणवत्ता प्रतिबंधों के बिना एकत्र की गई तस्वीरों पर एल्गोरिदम का आकलन किया, जैसे कि उन व्यक्तियों की छवियाँ जो सहयोग नहीं कर रहे थे या जिन्हें पता नहीं था कि उनकी तस्वीरें ली जा रही हैं। सत्यापन और पहचान दोनों कार्यों के लिए पुरस्कार दिए गए। सर्वश्रेष्ठ सत्यापन एल्गोरिदम ने 0.001 की गलत मिलान दर (FMR) पर 0.22 की गलत गैर-मिलान दर (FNMR) हासिल की। प्रसंस्करण गति और सहयोगी पोर्ट्रेट तस्वीरों के एक सेट के खिलाफ सत्यापन के लिए अतिरिक्त पुरस्कार दिए गए।

FRVT चालू

FRVT कार्यक्रम अब आवधिक रिपोर्टों के साथ चालू स्थिति में है। हाल की रिपोर्टों के अनुसार, यह 8 मिलियन से अधिक लोगों की कई छवियों वाले कम से कम छह तस्वीरों के संग्रह के खिलाफ लगभग 200 फेस रिकग्निशन एल्गोरिदम का मूल्यांकन करता है। उच्च-गुणवत्ता वाले वीज़ा छवियों पर, 1:1 सत्यापन के लिए सर्वश्रेष्ठ एल्गोरिदम 0.0001 की गलत मिलान दरों पर 0.0003 की गलत गैर-मिलान दरें प्राप्त करते हैं।

चालू कार्यक्रम में कई विशेष उप-परीक्षण शामिल हैं:

• FRVT: जनसांख्यिकीय प्रभाव - जांच करता है कि उम्र, लिंग और नस्ल जैसे जनसांख्यिकीय अंतर एल्गोरिदम प्रदर्शन को कैसे प्रभावित करते हैं।
• FRVT MORPH - चेहरे के मॉर्फिंग का पता लगाने पर केंद्रित है, विशेष रूप से फोटो-क्रेडेंशियल जारी करने के संबंध में।
• FACE चैलेंजेस - सोशल मीडिया पर पोस्ट की गई तस्वीरों से व्यक्तियों की पहचान का परीक्षण करता है।
• फेस इन वीडियो इवैल्यूएशन (FIVE) - वीडियो स्रोतों में व्यक्तियों की पहचान करने या अनदेखा करने की एल्गोरिदम की क्षमता का आकलन करता है, अक्सर जहां विषय सक्रिय रूप से सहयोग नहीं कर रहा होता है, यानी "जंगली में"।

प्रायोजक और प्रभाव

FRVT को कई अमेरिकी सरकारी एजेंसियों द्वारा प्रायोजित किया गया है, जिनमें इंटेलिजेंस एडवांस्ड रिसर्च प्रोजेक्ट्स एजेंसी (IARPA), होमलैंड सिक्योरिटी विभाग (DHS), FBI आपराधिक न्याय सूचना सेवा प्रभाग, तकनीकी सहायता कार्य समूह (TSWG), और राष्ट्रीय न्याय संस्थान शामिल हैं। कार्यक्रम के परिणामों ने खरीद निर्णयों, एल्गोरिदम विकास और फेस रिकग्निशन तकनीक के आसपास सार्वजनिक नीति चर्चाओं को प्रभावित किया है। स्वतंत्र, मानकीकृत मूल्यांकन प्रदान करके, FRVT बायोमेट्रिक पहचान में कृत्रिम बुद्धिमत्ता और मशीन लर्निंग अनुप्रयोगों में प्रगति को मापने के लिए एक बेंचमार्क के रूप में कार्य करता है।

FRVT की चालू प्रकृति फेस रिकग्निशन तकनीक के तेजी से विकास को दर्शाती है, जो गहन शिक्षण और तंत्रिका नेटवर्क आर्किटेक्चर में प्रगति से प्रेरित है। जैसे-जैसे एल्गोरिदम में सुधार होता है, मूल्यांकन अपने दायरे का विस्तार करना जारी रखता है, जनसांख्यिकीय पूर्वाग्रह और वीडियो-आधारित पहचान जैसी नई चुनौतियों का समाधान करता है, यह सुनिश्चित करता है कि तकनीक का मूल्यांकन यथार्थवादी और मांग वाली परिस्थितियों में किया जाए।