Cityscapes एक बड़े पैमाने का डेटासेट है जिसे शहरी सड़क दृश्यों की अर्थगत समझ के लिए डिज़ाइन किया गया है। यह जर्मनी और पड़ोसी देशों के 50 शहरों में एक चलते वाहन से रिकॉर्ड किए गए स्टीरियो वीडियो अनुक्रमों का एक विविध सेट प्रदान करता है, जिसमें 5,000 फ्रेम के लिए उच्च-गुणवत्ता वाले पिक्सेल-स्तरीय एनोटेशन और अतिरिक्त 20,000 फ्रेम के लिए मोटे बहुभुज एनोटेशन शामिल हैं। यह डेटासेट 2016 में डेमलर एजी, टीयू डार्मस्टाट और अन्य संस्थानों के शोधकर्ताओं द्वारा पेश किया गया था, और यह स्वायत्त ड्राइविंग और कंप्यूटर विज़न अनुसंधान में अर्थगत विभाजन, उदाहरण विभाजन, और पैनोप्टिक विभाजन जैसे कार्यों के लिए एक मानक बेंचमार्क बन गया है।
Cityscapes का प्राथमिक लक्ष्य उन एल्गोरिदम के विकास और मूल्यांकन को सक्षम करना है जो वास्तविक दुनिया की स्थितियों में वाहन के दृश्य वातावरण को समझ सकें। यह डेटासेट शहरी ड्राइविंग की जटिलता को दर्शाता है, जिसमें विभिन्न मौसम स्थितियां, मौसम और यातायात स्थितियां शामिल हैं, जो इसे एक चुनौतीपूर्ण और यथार्थवादी परीक्षण मंच बनाती हैं। इसके एनोटेशन 30 वर्गों को कवर करते हैं जो आठ श्रेणियों में समूहीकृत हैं: सपाट सतहें (सड़कें, फुटपाथ), मानव (पैदल यात्री, सवार), वाहन (कारें, ट्रक, बसें), निर्माण (इमारतें, दीवारें), वस्तुएं (यातायात संकेत, खंभे), प्रकृति (वनस्पति, भूभाग), आकाश, और शून्य (अचिह्नित क्षेत्र)। यह सूक्ष्म वर्गीकरण विस्तृत दृश्य विश्लेषण का समर्थन करता है और स्वायत्त ड्राइविंग प्रणालियों में गहन शिक्षण मॉडल को प्रशिक्षित करने के लिए व्यापक रूप से उपयोग किया जाता है।
डेटा संग्रह और एनोटेशन
डेटासेट को एक कार पर लगे स्टीरियो कैमरा रिग का उपयोग करके कैप्चर किया गया था, जो 2048x1024 पिक्सेल के रिज़ॉल्यूशन के साथ 17 फ्रेम प्रति सेकंड पर रिकॉर्ड करता है। रिकॉर्डिंग सत्र वसंत, गर्मी और पतझड़ में हुए, जिसमें धूप, बादल और बारिश की स्थितियां शामिल थीं, लेकिन सर्दी या रात के दृश्य शामिल नहीं थे। 5,000 बारीक एनोटेट फ्रेम 27 शहरों से चुने गए थे, जबकि 20,000 मोटे एनोटेट फ्रेम अतिरिक्त 23 शहरों से आते हैं, जो भौगोलिक विविधता सुनिश्चित करते हैं। एनोटेशन एक पेशेवर टीम द्वारा किया गया था, जिसमें प्रत्येक बारीक छवि को लेबल करने में लगभग 90 मिनट लगते हैं, एक बहुभुज उपकरण का उपयोग करके जो सटीक सीमा चित्रण की अनुमति देता है। मोटे एनोटेशन, जो प्रति छवि लगभग 7 मिनट लेते हैं, कम शीर्षों वाले बहुभुजों का उपयोग करते हैं और पूर्व-प्रशिक्षण या कमजोर पर्यवेक्षित शिक्षण के लिए अभिप्रेत हैं।
बेंचमार्क कार्य और मेट्रिक्स
डेटासेट मुख्य रूप से अर्थगत विभाजन के लिए उपयोग किया जाता है, जहां प्रत्येक पिक्सेल को एक वर्ग लेबल सौंपा जाता है। मानक मूल्यांकन मीट्रिक सभी वर्गों में माध्य इंटरसेक्शन-ओवर-यूनियन (mIoU) है, जिसमें प्रशिक्षण और मूल्यांकन के लिए उपयोग किए जाने वाले 19 वर्गों के लिए अलग रिपोर्टिंग होती है ('शून्य' वर्ग को बाहर रखा गया है)। Cityscapes उदाहरण विभाजन (एक वर्ग के भीतर व्यक्तिगत वस्तुओं को अलग करना, जैसे अलग-अलग कारें) और पैनोप्टिक विभाजन (अर्थगत और उदाहरण विभाजन का संयोजन) का भी समर्थन करता है। बेंचमार्क में एक सार्वजनिक लीडरबोर्ड है जहां शोधकर्ता परिणाम प्रस्तुत कर सकते हैं, और इसने विभाजन मॉडलों में महत्वपूर्ण प्रगति को बढ़ावा दिया है, प्रारंभिक पूर्ण-कनवल्शनल नेटवर्क से लेकर segformer और mask2former जैसे आधुनिक ट्रांसफार्मर-आधारित आर्किटेक्चर तक।
कंप्यूटर विज़न पर प्रभाव
Cityscapes कंप्यूटर विज़न में सबसे प्रभावशाली डेटासेट में से एक बन गया है, जिसमें हजारों उद्धरण और शिक्षा और उद्योग दोनों में व्यापक उपयोग है। इसने डोमेन अनुकूलन तकनीकों के विकास को बढ़ावा दिया है, क्योंकि Cityscapes पर प्रशिक्षित मॉडलों को अक्सर अन्य शहरी वातावरणों, जैसे वेमो या टेस्ला ऑटोपायलट डेटा में सामान्यीकरण करने की आवश्यकता होती है। डेटासेट ने सिंथेटिक डेटा के उपयोग को भी लोकप्रिय बनाया, जिसमें gta-v और carla जैसे उपकरणों का उपयोग अतिरिक्त प्रशिक्षण डेटा उत्पन्न करने के लिए किया जाता है जिसे बाद में Cityscapes पर ठीक-ट्यून किया जाता है। इसके एनोटेशन का उपयोग अर्थगत विभाजन, गहराई-अनुमान, और वस्तु पहचान के लिए मॉडल प्रशिक्षित करने के लिए किया गया है, और यह नए आर्किटेक्चर के लिए एक मानक मूल्यांकन सूट बना हुआ है, जिसमें तंत्रिका नेटवर्क और गहन शिक्षण प्रतिमानों पर आधारित शामिल हैं।
सीमाएं और विस्तार
अपनी सफलता के बावजूद, Cityscapes की ज्ञात सीमाएं हैं। यह केवल यूरोपीय शहरों को कवर करता है, ज्यादातर जर्मनी में, जो यूरोपीय सड़क लेआउट, संकेत और वाहन प्रकारों के प्रति पूर्वाग्रह पेश करता है। डेटासेट में रात के दृश्य, भारी बारिश या बर्फ शामिल नहीं हैं, जो प्रतिकूल मौसम स्थितियों के लिए इसकी प्रयोज्यता को सीमित करता है। इन अंतरालों को संबोधित करने के लिए, शोधकर्ताओं ने विस्तार और पूरक डेटासेट बनाए हैं, जैसे रात के दृश्यों के लिए cityscapes-dark और कोहरे, बारिश और बर्फ के लिए acdc (प्रतिकूल स्थिति डेटासेट)। इसके अतिरिक्त, मोटे एनोटेशन कम सटीक हैं, जो उन पर प्रशिक्षित मॉडलों को प्रभावित कर सकते हैं। फिर भी, Cityscapes एक मौलिक संसाधन बना हुआ है, और इसका बेंचमार्क शहरी दृश्य समझ में अत्याधुनिक मॉडलों के मूल्यांकन के लिए सक्रिय रूप से उपयोग किया जा रहा है।
यह भी देखें
- अर्थगत विभाजन
- autonomous-driving
- कंप्यूटर विज़न
- dataset