पैनोप्टिक सेगमेंटेशन एक कंप्यूटर विज़न कार्य है जो सिमेंटिक सेगमेंटेशन (प्रत्येक पिक्सेल को एक वर्ग लेबल निर्दिष्ट करना) और इंस्टेंस सेगमेंटेशन (व्यक्तिगत वस्तु उदाहरणों को अलग करना) को एक एकीकृत ढांचे में जोड़ता है। 2018 में अलेक्जेंडर किरिलोव एट अल. द्वारा प्रस्तुत, शब्द "पैनोप्टिक" ग्रीक शब्द से लिया गया है जिसका अर्थ है "सब-कुछ देखने वाला", जो एक दृश्य की पूर्ण और सुसंगत समझ प्रदान करने के इसके लक्ष्य को दर्शाता है। सिमेंटिक सेगमेंटेशन के विपरीत, जो एक ही वर्ग के सभी पिक्सेल को समान रूप से मानता है, पैनोप्टिक सेगमेंटेशन एक ही वर्ग के विभिन्न उदाहरणों (जैसे, व्यक्तिगत व्यक्ति या कारें) के बीच अंतर करता है। इंस्टेंस सेगमेंटेशन के विपरीत, जो आमतौर पर केवल "चीज़ों" (गणनीय वस्तुओं) पर केंद्रित होता है, पैनोप्टिक सेगमेंटेशन "सामग्री" (आकाश, सड़क, या घास जैसे अनाकार पृष्ठभूमि क्षेत्र) को भी शामिल करता है। यह समग्र दृष्टिकोण स्वायत्त ड्राइविंग, रोबोटिक्स, और संवर्धित वास्तविकता जैसे अनुप्रयोगों को वस्तु-स्तर और दृश्य-स्तर की जानकारी को एक साथ देखने में सक्षम बनाता है।
पृष्ठभूमि और प्रेरणा
पारंपरिक छवि सेगमेंटेशन विधियाँ दो श्रेणियों में आती हैं: सिमेंटिक सेगमेंटेशन और इंस्टेंस सेगमेंटेशन। सिमेंटिक सेगमेंटेशन प्रत्येक पिक्सेल को एक वर्ग लेबल निर्दिष्ट करता है, लेकिन यह एक ही वर्ग की कई वस्तुओं के बीच अंतर नहीं करता है। दूसरी ओर, इंस्टेंस सेगमेंटेशन, प्रत्येक अलग वस्तु का पता लगाता है और उसकी रूपरेखा बनाता है, लेकिन यह अक्सर पृष्ठभूमि क्षेत्रों को अनदेखा करता है। यह द्वंद्व दृश्य समझ में एक अंतर पैदा करता है, क्योंकि कई वास्तविक-विश्व अनुप्रयोगों के लिए वस्तु-स्तर और क्षेत्र-स्तर दोनों जानकारी की आवश्यकता होती है। पैनोप्टिक सेगमेंटेशन एक एकीकृत आउटपुट प्रदान करके इस अंतर को संबोधित करता है जिसमें "चीज़ें" (गणनीय उदाहरणों वाली वस्तुएं) और "सामग्री" (अगणनीय पृष्ठभूमि क्षेत्र) दोनों शामिल हैं। इस कार्य को 2018 के पेपर "पैनोप्टिक सेगमेंटेशन" में किरिलोव एट अल. द्वारा औपचारिक रूप दिया गया था, जिसमें मूल्यांकन के लिए पैनोप्टिक क्वालिटी (PQ) मीट्रिक भी पेश की गई थी।
तकनीकी दृष्टिकोण
पैनोप्टिक सेगमेंटेशन विधियाँ आमतौर पर गहन शिक्षण आर्किटेक्चर का उपयोग करती हैं, जो अक्सर कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) या ट्रांसफॉर्मर पर आधारित होती हैं। एक सामान्य दृष्टिकोण में दो-शाखा डिज़ाइन शामिल होता है: एक शाखा सिमेंटिक सेगमेंटेशन को संभालती है, जो प्रति-पिक्सेल वर्ग संभावना मानचित्र उत्पन्न करती है, जबकि दूसरी शाखा इंस्टेंस सेगमेंटेशन को संभालती है, जो वस्तु प्रस्ताव और मास्क उत्पन्न करती है। इन आउटपुट को फिर एक फ्यूज़न मॉड्यूल का उपयोग करके विलय किया जाता है जो संघर्षों (जैसे, अतिव्यापी क्षेत्रों) को हल करता है और प्रत्येक वस्तु को एक अद्वितीय इंस्टेंस ID निर्दिष्ट करता है। हाल की अत्याधुनिक विधियाँ, जैसे पैनोप्टिक FPN (फीचर पिरामिड नेटवर्क) और Mask2Former, एक एकीकृत ढांचे में वर्ग लेबल और इंस्टेंस मास्क की संयुक्त भविष्यवाणी के लिए ट्रांसफॉर्मर-आधारित आर्किेक्चर का उपयोग करती हैं। ये मॉडल COCO (सामान्य वस्तुएं संदर्भ में) और Cityscapes जैसे बड़े पैमाने के डेटासेट पर प्रशिक्षित होते हैं, जो चीज़ों और सामग्री दोनों श्रेणियों के लिए एनोटेशन प्रदान करते हैं।
अनुप्रयोग
पैनोप्टिक सेगमेंटेशन के कई व्यावहारिक अनुप्रयोग हैं। स्वायत्त ड्राइविंग में, यह वाहनों को न केवल पैदल यात्रियों, वाहनों, और यातायात संकेतों (चीज़ें) की पहचान करने में सक्षम बनाता है, बल्कि लेन, फुटपाथ, और आकाश (सामग्री) की भी पहचान करता है, जिससे सुरक्षित नेविगेशन सुगम होता है। रोबोटिक्स में, यह रोबोटों को व्यक्तिगत वस्तुओं को पृष्ठभूमि सतहों से अलग करके अव्यवस्थित वातावरण को समझने और उसके साथ बातचीत करने में मदद करता है। चिकित्सा इमेजिंग में, पैनोप्टिक सेगमेंटेशन ऊतक क्षेत्रों (सामग्री) के भीतर व्यक्तिगत कोशिकाओं (उदाहरण) की रूपरेखा बना सकता है, जिससे निदान और अनुसंधान में सहायता मिलती है। इसके अतिरिक्त, इसका उपयोग संवर्धित वास्तविकता में सटीक अवरोधन हैंडलिंग के साथ वास्तविक दृश्यों पर आभासी वस्तुओं को ओवरले करने के लिए, और वीडियो निगरानी में दृश्य संदर्भ बनाए रखते हुए कई वस्तुओं को ट्रैक करने के लिए किया जाता है।
मूल्यांकन मीट्रिक्स
पैनोप्टिक सेगमेंटेशन के लिए प्राथमिक मीट्रिक पैनोप्टिक क्वालिटी (PQ) है, जिसे किरिलोव एट अल. द्वारा पेश किया गया था। PQ सेगमेंटेशन क्वालिटी (SQ) और रिकग्निशन क्वालिटी (RQ) को जोड़ता है। SQ मिलान किए गए सेगमेंट के औसत IoU (इंटरसेक्शन ओवर यूनियन) को मापता है, जबकि RQ इंस्टेंस मिलान के F1 स्कोर को मापता है। PQ की गणना SQ और RQ के गुणनफल के रूप में की जाती है, जो सभी वर्गों पर औसत होती है। यह मीट्रिक सटीक पिक्सेल-स्तर सेगमेंटेशन और सही इंस्टेंस भेदभाव दोनों को पुरस्कृत करता है। विस्तृत विश्लेषण के लिए सेगमेंटेशन क्वालिटी और रिकग्निशन क्वालिटी जैसी अन्य मीट्रिक्स कभी-कभी अलग से रिपोर्ट की जाती हैं।
चुनौतियाँ और भविष्य की दिशाएँ
महत्वपूर्ण प्रगति के बावजूद, पैनोप्टिक सेगमेंटेशन को कई चुनौतियों का सामना करना पड़ता है। चीज़ों और सामग्री श्रेणियों के बीच वर्ग असंतुलन प्रशिक्षण को पक्षपाती बना सकता है, जिसके लिए सावधानीपूर्वक लॉस वेटिंग की आवश्यकता होती है। वास्तविक-समय प्रदर्शन स्वायत्त ड्राइविंग जैसे अनुप्रयोगों के लिए महत्वपूर्ण है, लेकिन कई अत्याधुनिक मॉडल कम्प्यूटेशनल रूप से भारी हैं। अवरोधन और अतिव्यापी उदाहरण कठिन बने हुए हैं, विशेष रूप से भीड़भाड़ वाले दृश्यों में। भविष्य की शोध दिशाओं में मॉडल संपीड़न और ज्ञान आसवन के माध्यम से दक्षता में सुधार, वीडियो पैनोप्टिक सेगमेंटेशन के लिए अस्थायी जानकारी को शामिल करना, और महंगे एनोटेशन पर निर्भरता कम करने के लिए स्व-पर्यवेक्षित शिक्षण का लाभ उठाना शामिल है। इसके अतिरिक्त, गहराई अनुमान और 3D पुनर्निर्माण जैसे अन्य कार्यों के साथ पैनोप्टिक सेगमेंटेशन का एकीकरण, अन्वेषण का एक सक्रिय क्षेत्र है।
यह भी देखें
- सिमेंटिक सेगमेंटेशन
- इंस्टेंस सेगमेंटेशन
- कंप्यूटर विज़न
- गहन शिक्षण
- कन्वोल्यूशनल न्यूरल नेटवर्क
- ट्रांसफॉर्मर
- स्वायत्त ड्राइविंग
- चिकित्सा इमेजिंग
- रोबोटिक्स
- संवर्धित वास्तविकता
- वस्तु पहचान
- छवि सेगमेंटेशन
- COCO डेटासेट
- Cityscapes डेटासेट
- पैनोप्टिक क्वालिटी
- Mask2Former
- पैनोप्टिक FPN