कन्फ्यूज़न मैट्रिक्स, जिसे एरर मैट्रिक्स के रूप में भी जाना जाता है, एक विशिष्ट तालिका लेआउट है जो किसी व्यक्ति या एल्गोरिदम के किसी विशिष्ट कार्य पर प्रदर्शन के दृश्यीकरण की अनुमति देता है। मशीन लर्निंग में, ये मैट्रिक्स पर्यवेक्षित और अप्रशिक्षित दोनों प्रकार के शिक्षण में एक शिक्षण प्रणाली की सफलता दर्शाते हैं, जहाँ उन्हें कभी-कभी मैचिंग मैट्रिक्स भी कहा जाता है। यह नाम इस तथ्य से उत्पन्न हुआ है कि मैट्रिक्स यह पहचानना आसान बनाता है कि सिस्टम दो वर्गों को भ्रमित कर रहा है, अर्थात्, सामान्य रूप से एक वर्ग को दूसरे के रूप में गलत लेबल कर रहा है।
कन्फ्यूज़न मैट्रिक्स की उत्पत्ति श्रवण उत्तेजनाओं के मानव अवधारणात्मक अध्ययनों में हुई है। इसे बाद में मशीन लर्निंग अध्ययनों के लिए अनुकूलित किया गया और फ्रैंक रोसेनब्लाट जैसे शुरुआती शोधकर्ताओं द्वारा दृश्य और श्रवण उत्तेजनाओं के मानव और मशीन वर्गीकरण की तुलना करने के लिए उपयोग किया गया। यह एक विशेष प्रकार की आकस्मिक तालिका है जिसमें दो आयाम होते हैं, "वास्तविक" और "पूर्वानुमानित", और दोनों आयामों में वर्गों के समान सेट होते हैं। मैट्रिक्स की प्रत्येक पंक्ति एक वास्तविक वर्ग में उदाहरणों का प्रतिनिधित्व करती है, जबकि प्रत्येक स्तंभ एक पूर्वानुमानित वर्ग में उदाहरणों का प्रतिनिधित्व करता है, या इसके विपरीत, उपयोग किए गए सम्मेलन पर निर्भर करता है। इसलिए मैट्रिक्स का विकर्ण उन सभी उदाहरणों का प्रतिनिधित्व करता है जो सही ढंग से पूर्वानुमानित हैं।
बाइनरी वर्गीकरण उदाहरण
12 व्यक्तियों के एक नमूने पर विचार करें, जिनमें से 8 को कैंसर (वर्ग 1, सकारात्मक) और 4 को कैंसर-मुक्त (वर्ग 0, नकारात्मक) निदान किया गया है। एक क्लासिफायर कैंसर वाले और बिना कैंसर वाले व्यक्तियों के बीच अंतर करता है। क्लासिफायर के माध्यम से 12 व्यक्तियों को चलाने के बाद, यह 9 सटीक भविष्यवाणियाँ करता है और 3 को चूक जाता है: कैंसर वाले 2 व्यक्तियों को गलत तरीके से कैंसर-मुक्त के रूप में भविष्यवाणी की जाती है, और बिना कैंसर वाले 1 व्यक्ति को गलत तरीके से कैंसर होने की भविष्यवाणी की जाती है।
वास्तविक और पूर्वानुमानित वर्गीकरणों की तुलना करने पर चार संभावित परिणाम मिलते हैं:
- सत्य सकारात्मक (TP): वास्तविक सकारात्मक और पूर्वानुमानित सकारात्मक।
- असत्य नकारात्मक (FN): वास्तविक सकारात्मक और पूर्वानुमानित नकारात्मक।
- असत्य सकारात्मक (FP): वास्तविक नकारात्मक और पूर्वानुमानित सकारात्मक।
- सत्य नकारात्मक (TN): वास्तविक नकारात्मक और पूर्वानुमानित नकारात्मक।
इन परिणामों को एक 2×2 कन्फ्यूज़न मैट्रिक्स में व्यवस्थित किया जा सकता है। उदाहरण के लिए, मैट्रिक्स दिखाएगा:
| पूर्वानुमानित सकारात्मक | पूर्वानुमानित नकारात्मक | |
|---|---|---|
| वास्तविक सकारात्मक | 6 (TP) | 2 (FN) |
| वास्तविक नकारात्मक | 1 (FP) | 3 (TN) |
सभी सही भविष्यवाणियाँ विकर्ण पर स्थित होती हैं, जिससे त्रुटियों को पहचानना आसान हो जाता है, जो विकर्ण से बाहर दिखाई देती हैं। पंक्तियों का योग डेटासेट में सकारात्मक (P = TP + FN) और नकारात्मक (N = FP + TN) नमूनों की कुल संख्या देता है।
कन्फ्यूज़न की तालिका
पूर्वानुमानित विश्लेषण में, कन्फ्यूज़न की तालिका (जिसे कभी-कभी कन्फ्यूज़न मैट्रिक्स भी कहा जाता है) एक दो-बाई-दो तालिका है जो सत्य सकारात्मक, असत्य नकारात्मक, असत्य सकारात्मक और सत्य नकारात्मक की गणना रिपोर्ट करती है। यह केवल सटीकता का अवलोकन करने की तुलना में अधिक विस्तृत विश्लेषण की अनुमति देता है, जो डेटासेट असंतुलित होने पर भ्रामक हो सकता है। उदाहरण के लिए, 95 कैंसर नमूनों और 5 गैर-कैंसर नमूनों के साथ, एक क्लासिफायर जो सब कुछ कैंसर के रूप में लेबल करता है, उसकी सटीकता 95% होगी लेकिन गैर-कैंसर वर्ग के लिए संवेदनशीलता 0% होगी। F1 स्कोर जैसे मेट्रिक्स भी पक्षपाती हो सकते हैं; सूचितता (informedness) ऐसे पूर्वाग्रह को हटा देती है, जिससे किसी भी प्रकार के अनुमान के लिए 0 प्राप्त होता है। डेविड चिक्को और ग्यूसेप जुर्मन के अनुसार, कन्फ्यूज़न मैट्रिक्स का मूल्यांकन करने के लिए सबसे अधिक जानकारीपूर्ण मेट्रिक मैथ्यूज़ सहसंबंध गुणांक (MCC) है।
कुछ शोधकर्ताओं का तर्क है कि कन्फ्यूज़न मैट्रिक्स और व्युत्पन्न मेट्रिक्स किसी मॉडल के ज्ञान को पूरी तरह से प्रतिबिंबित नहीं करते हैं। मैट्रिक्स यह नहीं दिखा सकता कि सही भविष्यवाणियाँ ठोस तर्क के माध्यम से पहुँची गईं या संयोग से (ज्ञानमीमांसीय भाग्य), न ही यह उन स्थितियों को पकड़ता है जहाँ भविष्यवाणी के लिए उपयोग किए गए तथ्य बाद में बदल जाते हैं (खंडनीयता)। इस प्रकार, उपयोगी होते हुए भी, कन्फ्यूज़न मैट्रिक्स किसी मॉडल की वास्तविक विश्वसनीयता की अधूरी तस्वीर दे सकता है।
बहु-वर्ग कन्फ्यूज़न मैट्रिक्स
कन्फ्यूज़न मैट्रिक्स बाइनरी वर्गीकरण तक सीमित नहीं हैं; उन्हें बहु-वर्ग क्लासिफायर में उपयोग किया जा सकता है। k वर्गों वाले क्लासिफायर के लिए, मैट्रिक्स में k पंक्तियाँ और k स्तंभ होते हैं, जहाँ प्रत्येक सेल (i, j) वास्तविक वर्ग i के उदाहरणों की गणना करता है जिन्हें वर्ग j के रूप में भविष्यवाणी की गई है। विकर्ण सही भविष्यवाणियों का प्रतिनिधित्व करता है, और विकर्ण से बाहर के सेल गलत वर्गीकरण दिखाते हैं। यह लेआउट यह पहचानने में मदद करता है कि कौन से वर्ग अक्सर एक दूसरे के साथ भ्रमित होते हैं।
व्युत्पन्न मेट्रिक्स
कन्फ्यूज़न मैट्रिक्स से कई प्रदर्शन मेट्रिक्स की गणना की जा सकती है:
- सटीकता: (TP + TN) / (TP + TN + FP + FN)
- परिशुद्धता: TP / (TP + FP)
- रिकॉल (संवेदनशीलता): TP / (TP + FN)
- विशिष्टता: TN / (TN + FP)
- F1 स्कोर: परिशुद्धता और रिकॉल का हार्मोनिक माध्य
- मैथ्यूज़ सहसंबंध गुणांक (MCC): एक संतुलित माप जो सभी चार सेलों को ध्यान में रखता है।
ये मेट्रिक्स क्लासिफायर प्रदर्शन पर विभिन्न दृष्टिकोण प्रदान करते हैं, विशेष रूप से असंतुलित डेटासेट में।
मशीन लर्निंग में अनुप्रयोग
कन्फ्यूज़न मैट्रिक्स का व्यापक रूप से Machine learning में क्लासिफायर का मूल्यांकन करने के लिए उपयोग किया जाता है, जिसमें Neural network मॉडल और Deep learning सिस्टम शामिल हैं। वे चिकित्सा निदान, स्पैम पहचान और छवि पहचान जैसे क्षेत्रों में आवश्यक हैं। उदाहरण के लिए, Artificial intelligence अनुसंधान में, कन्फ्यूज़न मैट्रिक्स विभिन्न वर्गों में मॉडल प्रदर्शन की तुलना करने में मदद करते हैं, जिससे मॉडल वास्तुकला और प्रशिक्षण डेटा में सुधार का मार्गदर्शन होता है।
सीमाएँ और आलोचनाएँ
अपनी उपयोगिता के बावजूद, कन्फ्यूज़न मैट्रिक्स की सीमाएँ हैं। वे भविष्यवाणियों के पीछे के तर्क को नहीं पकड़ते हैं, और वे स्थिर ग्राउंड ट्रुथ मानते हैं। गतिशील वातावरण में, जैसे कि Large language model आउटपुट से जुड़े, मैट्रिक्स विकसित होती सत्यता को प्रतिबिंबित नहीं कर सकता है। इसके अतिरिक्त, अत्यधिक असंतुलित डेटासेट के लिए, सटीकता और F1 स्कोर भ्रामक हो सकते हैं, जिससे MCC या सूचितता जैसे मेट्रिक्स पर निर्भरता बढ़ जाती है।
ऐतिहासिक संदर्भ
कन्फ्यूज़न मैट्रिक्स की अवधारणा मानव अवधारणात्मक अध्ययनों, विशेष रूप से ऑडियोलॉजी में उत्पन्न हुई, जहाँ मैट्रिक्स मापते हैं कि कोई व्यक्ति विशिष्ट शब्दों या ध्वनियों को कैसे सुनता है। फ्रैंक रोसेनब्लाट, प्रारंभिक तंत्रिका नेटवर्क के अग्रणी, ने मानव और मशीन वर्गीकरण की तुलना करने के लिए कन्फ्यूज़न मैट्रिक्स का उपयोग किया। यह ऐतिहासिक संबंध मानव और मशीन प्रदर्शन मूल्यांकन के बीच सेतु बनाने में मैट्रिक्स की भूमिका को रेखांकित करता है।
यह भी देखें
- Machine learning
- Neural network
- Deep learning
- Artificial intelligence
- Supervised learning
- Unsupervised learning
- वर्गीकरण
- Precision and Recall
- matthews-correlation-coefficient