प्रिसिजन-रिकॉल वक्र एक ग्राफिकल निरूपण है जिसका उपयोग वर्गीकरण में किसी मॉडल के प्रदर्शन का मूल्यांकन करने के लिए किया जाता है, जिसमें विभिन्न निर्णय सीमाओं (थ्रेशोल्ड) के लिए y-अक्ष पर प्रिसिजन (सकारात्मक भविष्य कहने वाला मान) और x-अक्ष पर रिकॉल (संवेदनशीलता) को प्लॉट किया जाता है। वक्र पर प्रत्येक बिंदु एक विशिष्ट सीमा सेटिंग के अनुरूप होता है, जो दर्शाता है कि सीमा समायोजित करने पर प्रिसिजन और रिकॉल कैसे बदलते हैं। यह वक्र असंतुलित डेटासेट के लिए विशेष रूप से उपयोगी है जहां एक वर्ग दुर्लभ होता है, क्योंकि यह सही नकारात्मक (ट्रू नेगेटिव) के बजाय सकारात्मक वर्ग के प्रदर्शन पर केंद्रित होता है।
प्रिसिजन को प्राप्त उदाहरणों के बीच प्रासंगिक उदाहरणों के अंश के रूप में परिभाषित किया गया है, या समकक्ष रूप से, सही सकारात्मक की संख्या को सही सकारात्मक और गलत सकारात्मक के योग से विभाजित करने पर प्राप्त होता है। रिकॉल प्राप्त किए गए प्रासंगिक उदाहरणों का अंश है, या सही सकारात्मक की संख्या को सही सकारात्मक और गलत नकारात्मक के योग से विभाजित करने पर प्राप्त होता है। वर्गीकरण कार्य में, एक आदर्श वर्गीकारक में प्रिसिजन और रिकॉल दोनों 1.0 के बराबर होंगे, जिससे वक्र ऊपरी-दाएं कोने से गुजरेगा। हालांकि, व्यवहार में, अक्सर एक व्युत्क्रम संबंध होता है: रिकॉल बढ़ाने से प्रिसिजन घटता है, और इसके विपरीत। एक प्रिसिजन-रिकॉल वक्र आम तौर पर कम रिकॉल पर उच्च प्रिसिजन से उच्च रिकॉल पर कम प्रिसिजन की ओर नीचे की ओर झुकता है, हालांकि सटीक आकार मॉडल और डेटा पर निर्भर करता है।
टाइप I और टाइप II त्रुटियों से संबंध
प्रिसिजन और रिकॉल परिकल्पना परीक्षण अवधारणाओं से निकटता से जुड़े हुए हैं। रिकॉल टाइप II त्रुटि दर (गलत नकारात्मक दर) का पूरक है, जिसका अर्थ है कि उच्च रिकॉल कुछ छूटे हुए सकारात्मक उदाहरणों के अनुरूप होता है। प्रिसिजन टाइप I त्रुटि दर (गलत सकारात्मक दर) से संबंधित है लेकिन यह सकारात्मक और नकारात्मक उदाहरणों के पूर्व वितरण पर भी निर्भर करता है। उदाहरण के लिए, दस बिल्लियों और बारह कुत्तों वाले डेटासेट में, एक कुत्ता पहचान कार्यक्रम जो आठ कुत्तों की पहचान करता है, जिनमें से पांच वास्तविक कुत्ते हैं, की प्रिसिजन 5/8 और रिकॉल 5/12 होगी। टाइप I त्रुटि दर 3/10 है (दस बिल्लियों में से तीन गलत सकारात्मक), और टाइप II त्रुटि दर 7/12 है (बारह कुत्तों में से सात गलत नकारात्मक)। प्रिसिजन को गुणवत्ता के माप के रूप में देखा जा सकता है (कितने चयनित आइटम प्रासंगिक हैं), जबकि रिकॉल मात्रा का माप है (कितने प्रासंगिक आइटम चयनित हैं)।
ट्रेड-ऑफ और व्यावहारिक उदाहरण
प्रिसिजन और रिकॉल के बीच का ट्रेड-ऑफ अक्सर संदर्भ-निर्भर होता है। उदाहरण के लिए, एक धुआं डिटेक्टर को रिकॉल को प्राथमिकता देने के लिए डिज़ाइन किया गया है, क्योंकि आग छूटने की लागत (गलत नकारात्मक) विनाशकारी होती है, भले ही इसका मतलब कई गलत अलार्म (कम प्रिसिजन) हों। इसके विपरीत, आपराधिक न्याय प्रणाली, ब्लैकस्टोन के अनुपात द्वारा निर्देशित - "यह बेहतर है कि दस दोषी व्यक्ति बच जाएं बजाय एक निर्दोष को कष्ट सहना पड़े" - प्रिसिजन को प्राथमिकता देती है, निर्दोष लोगों को दोषी ठहराने से बचने के लिए कम रिकॉल स्वीकार करती है। ट्यूमर निकालने वाला मस्तिष्क सर्जन भी इसी तरह की दुविधा का सामना करता है: बड़ा क्षेत्र निकालने से रिकॉल बढ़ता है (सभी कैंसर कोशिकाओं को हटाना सुनिश्चित होता है) लेकिन प्रिसिजन घटता है (स्वस्थ ऊतक हटाना), जबकि रूढ़िवादी दृष्टिकोण प्रिसिजन बढ़ाता है लेकिन कैंसर कोशिकाओं को पीछे छोड़ने का जोखिम उठाता है।
निर्माण और व्याख्या
प्रिसिजन-रिकॉल वक्र का निर्माण करने के लिए, एक मॉडल प्रत्येक उदाहरण के लिए एक स्कोर या संभावना आउटपुट करता है। उस सीमा को बदलकर जिसके ऊपर एक उदाहरण को सकारात्मक के रूप में वर्गीकृत किया जाता है, प्रिसिजन और रिकॉल के विभिन्न जोड़े प्राप्त होते हैं। इन जोड़ों को एक वक्र के रूप में प्लॉट किया जाता है। प्रिसिजन-रिकॉल वक्र के नीचे का क्षेत्र (PR-AUC) वक्र का एकल-संख्या सारांश है, जिसमें उच्च मान बेहतर समग्र प्रदर्शन का संकेत देते हैं। एक यादृच्छिक वर्गीकारक आम तौर पर डेटासेट में सकारात्मक उदाहरणों के अनुपात पर एक क्षैतिज रेखा के रूप में एक वक्र उत्पन्न करता है, इसलिए उपयोगी मॉडल के लिए PR-AUC इस आधार रेखा से ऊपर होना चाहिए। यह वक्र विशेष रूप से तब जानकारीपूर्ण होता है जब सकारात्मक वर्ग दुर्लभ होता है, क्योंकि confusion matrix अकेले भ्रामक हो सकता है।
मशीन लर्निंग में उपयोग
प्रिसिजन-रिकॉल वक्र व्यापक रूप से Machine learning और Artificial intelligence में बाइनरी वर्गीकारकों का मूल्यांकन करने के लिए उपयोग किए जाते हैं, विशेष रूप से सूचना पुनर्प्राप्ति, चिकित्सा निदान और धोखाधड़ी का पता लगाने जैसे डोमेन में। उनकी तुलना अक्सर रिसीवर ऑपरेटिंग विशेषता (ROC) वक्रों से की जाती है, जो सही सकारात्मक दर को गलत सकारात्मक दर के विरुद्ध प्लॉट करते हैं। ROC वक्रों के विपरीत, प्रिसिजन-रिकॉल वक्र सही नकारात्मक शामिल नहीं करते हैं, जिससे वे सकारात्मक वर्ग पर प्रदर्शन के प्रति अधिक संवेदनशील होते हैं। कई Neural network और Deep learning फ्रेमवर्क प्रिसिजन-रिकॉल वक्रों की गणना और प्लॉट करने के लिए अंतर्निहित फ़ंक्शन प्रदान करते हैं, जिससे मॉडल चयन और सीमा ट्यूनिंग की सुविधा मिलती है। उदाहरण के लिए, Natural language processing कार्यों जैसे दस्तावेज़ वर्गीकरण में, एक प्रिसिजन-रिकॉल वक्र प्रासंगिक दस्तावेजों की पुनर्प्राप्ति को अप्रासंगिक दस्तावेजों को शामिल करने के विरुद्ध संतुलित करने में मदद कर सकता है।
सीमाएं और विचार
प्रिसिजन-रिकॉल वक्रों की सीमाएं हैं। वे वर्ग असंतुलन के प्रति संवेदनशील होते हैं, और एक संतुलित डेटासेट पर उच्च प्रिसिजन और रिकॉल वाला मॉडल असंतुलित डेटासेट पर खराब प्रदर्शन कर सकता है। इसके अतिरिक्त, वक्र उदाहरणों की पूर्ण संख्या को व्यक्त नहीं करता है, इसलिए विभिन्न डेटासेट में वक्रों की तुलना करना भ्रामक हो सकता है। हर उदाहरण को पुनर्प्राप्त करके पूर्ण रिकॉल प्राप्त करना भी संभव है, लेकिन ऐसे मॉडल में कम प्रिसिजन होगा। इसके विपरीत, केवल सबसे आत्मविश्वास वाले उदाहरणों का चयन करके पूर्ण प्रिसिजन प्राप्त किया जा सकता है, लेकिन रिकॉल कम होगा। इसलिए, प्रिसिजन और रिकॉल पर शायद ही कभी अलगाव में चर्चा की जाती है; इसके बजाय, वक्र ट्रेड-ऑफ का एक व्यापक दृश्य प्रदान करता है, जिससे चिकित्सकों को एक सीमा चुनने की अनुमति मिलती है जो एप्लिकेशन की प्राथमिकताओं के साथ संरेखित होती है।