KITTI बेंचमार्क डेटासेट और मूल्यांकन मानदंडों का एक संग्रह है जिसे स्वायत्त ड्राइविंग और मोबाइल रोबोटिक्स में अनुसंधान के लिए डिज़ाइन किया गया है। यह शहरी और ग्रामीण वातावरण में चलने वाले वाहन से सेंसर रिकॉर्डिंग का एक मानकीकृत सेट प्रदान करता है, जिससे शोधकर्ताओं को वस्तु का पता लगाने, ट्रैकिंग और स्टीरियो पुनर्निर्माण जैसे कार्यों के लिए एल्गोरिदम के प्रदर्शन की तुलना करने की अनुमति मिलती है। कार्नेगी मेलन विश्वविद्यालय और कार्ल्सरूए इंस्टीट्यूट ऑफ टेक्नोलॉजी के बीच एक संयुक्त परियोजना के रूप में स्थापित, इसे 2012 में पेश किया गया था और तब से यह मशीन लर्निंग और कंप्यूटर विज़न अनुसंधान के क्षेत्र में व्यापक रूप से उपयोग किया जाने वाला मानक बन गया है।
डेटा संग्रह और प्लेटफ़ॉर्म
बेंचमार्क को जर्मनी के कार्ल्सरूए शहर में वास्तविक दुनिया की ड्राइविंग स्थितियों को पकड़ने के लिए सेंसर के एक सूट से लैस एक स्टेशन वैगन का उपयोग करके बनाया गया था। प्राथमिक सेंसर कॉन्फ़िगरेशन में दो उच्च-रिज़ॉल्यूशन रंगीन कैमरे और दो ग्रेस्केल कैमरे शामिल थे, जो आगे की ओर इशारा करते हुए एक स्टीरियोस्कोपिक विज़न सिस्टम बनाते थे। वेलोडाइन HDL-64E प्रकार का एक घूर्णन लेजर स्कैनर दूरी और प्रतिबिंब जानकारी प्रदान करता था, जबकि एक वैश्विक स्थिति प्रणाली और जड़त्वीय नेविगेशन प्रणाली विभिन्न ड्राइवों में वाहन की स्थिति दर्ज करती थी।
सेंसर रिकॉर्डिंग 10 हर्ट्ज़ पर कैप्चर की गई थीं, जिसमें कैमरे 24-बिट रंग गहराई की 1.4-मेगापिक्सेल छवियां प्रदान करते थे। डेटासेट में ग्राउंड प्लेन और कैलिब्रेटेड कैमरा पैरामीटर शामिल हैं। संग्रह में न केवल शहर की सड़कें बल्कि ग्रामीण सड़कें और राजमार्ग खंड भी दर्ज किए गए। डेटा की कुल मात्रा को प्रशिक्षण और परीक्षण उपसमुच्चय में विभाजित किया गया है, जिसमें पता लगाने और ट्रैकिंग दोनों कार्यों के लिए एनोटेशन शामिल हैं, जो अक्सर कार्ल्सरूए इंस्टीट्यूट ऑफ टेक्नोलॉजी की एक टीम द्वारा प्रदान किए जाते हैं।
बेंचमार्क कार्य
KITTI कठिनाई के विभिन्न स्तरों पर विशिष्ट कार्यों की एक श्रृंखला परिभाषित करता है, जो सरल परिस्थितियों में उल्टे प्रदर्शन (बाउंडिंग बॉक्स आकार और अवरोधन के आधार पर) से लेकर अधिक कठिन स्थिति तक होता है। इनमें प्राथमिक रूप से 2D और 3D में वस्तु का पता लगाना (वाहनों को ढूंढना और बाउंड करना), पैदल यात्री और साइकिल चालक का पता लगाना, और उन्हीं का ट्रैकिंग, जैसे चलती कारें और बाइक शामिल हैं। वस्तु पहचान से परे, बेंचमार्क में स्टीरियो मिलान के लिए मूल्यांकन सूट शामिल हैं, जहां दृश्य गहराई को पुनर्प्राप्त करने के लिए दो कैमरों के पिक्सेल का मिलान किया जाता है, और दृश्य प्रवाह अनुमान के लिए, जिसमें प्रति-पिक्सेल विस्थापन और गति शामिल होती है।
मूल्यांकन मेट्रिक्स 2D कार्यों के लिए पाइपलाइन-आधारित हैं, और औसत परिशुद्धता, या स्टीरियो D1 त्रुटि जैसे अधिक उन्नत मेट्रिक्स का उपयोग करते हैं। ट्रैकिंग के लिए, CLEAR MOT प्रोटोकॉल पर आधारित एक कस्टम मेट्रिक जारी की जाती है, जिसके परिणामस्वरूप कई ऑब्जेक्ट ट्रैकिंग परिशुद्धता और संचित मिलान जैसे उपाय होते हैं। प्रत्येक कार्य में एक लीडरबोर्ड भी शामिल है जहां प्रतिभागी चल रहे परीक्षण सेट के खिलाफ अपने एल्गोरिदम अपलोड कर सकते हैं और स्वचालित प्रतिक्रिया प्राप्त कर सकते हैं।
प्रभाव और उपयोग
KITTI ने स्वायत्त ड्राइविंग धारणा में कई सफलताओं के लिए संदर्भ बिंदु के रूप में कार्य किया है। इसके मानकीकृत डेटा ने 3D पॉइंट क्लाउड से 2D छवियों तक सेंसर फ्यूजन के लिए एल्गोरिदम के विकास और सत्यापन की अनुमति दी है। वाहन की स्थिति की इसकी क्षमता का उपयोग अन्य डोमेन में भी किया जाता है, जैसे रोबोटिक्स जहां कैमरा पोज़ के सटीक माप का उपयोग एक साथ स्थानीयकरण और मानचित्रण के लिए किया जाता है।
क्षेत्र में कई प्रभावशाली पेपरों का मूल्यांकन KITTI पर किया गया है, जिसमें U-Net जैसे विभाजन मॉडल से लेकर वस्तु का पता लगाने के लिए विभिन्न तंत्रिका नेटवर्क आर्किटेक्चर के अनुप्रयोग शामिल हैं, जैसे कि क्षेत्र-आधारित कनवल्शन नेटवर्क या सिंगल-शॉट डिटेक्टर। जैसे-जैसे डीप लर्निंग बुनियादी ढांचा परिपक्व हुआ, KITTI का लीडरबोर्ड इन मॉडलों की प्रगति को ट्रैक करने और वैज्ञानिक तुलनाओं के लिए एक केंद्रीय स्थान के रूप में विकसित हुआ। हालांकि nuScenes और Waymo Open Dataset जैसे बाद के बेंचमार्क ने मानकीकृत उपायों का विस्तार किया है, KITTI समुदाय में महत्वपूर्ण गति बनाए रखता है।
सीमाएं और विस्तार
मूल KITTI डेटा, हालांकि घने वातावरण में एकत्र किया गया है, इसके स्थान और यातायात की वनस्पतियों पर ध्यान देने से संबंधित एक सीमा की इकाई है। चूंकि डेटा एक विशिष्ट क्षेत्र (कार्ल्सरूए) से मध्यम आकार और बड़ी ड्राइविंग रेंज में है, इसलिए निष्कर्ष सीधे अन्य क्षेत्रों या स्थितियों, जैसे दिन और रात, या खराब मौसम में स्थानांतरित नहीं हो सकते हैं। एनोटेशन भी वस्तु वर्गों के एक सेट के लिए पूर्व-स्थानीयकृत हैं, और लेबल किए गए फ्रेम की संख्या अपेक्षाकृत सीमित है, अक्सर कुछ कार्यों के लिए लगभग 7,481 प्रशिक्षण फ्रेम।
इन्हें कम करने के लिए, KITTI-RAW जैसे प्रयास, जो निरंतर कैमरे और एक्सेलेरोमीटर के साथ असंसाधित सेंसर रीडिंग का संग्रह है, जारी किए गए। डेटा को अनुकूलित करने के लिए संशोधन भी किए गए हैं। फिर भी, KITTI स्वचालित ड्राइविंग एल्गोरिदम की बेंचमार्किंग के लिए मानक प्रवेश बिंदु बना हुआ है। Waymo या Cityscapes और Virtual KITTI के विस्तार जैसे कई समान अभियानों ने इसकी मूल संरचना को एक टेम्पलेट के रूप में लिया है। कई कार्यों के लिए, बेंचमार्क न केवल एक मूल्यांकन है, बल्कि उन सेंसरों के लिए एक पोर्टल भी है जो स्वायत्त ड्राइविंग स्टैक के साथ इंटरफेस करते हैं।
परिदृश्य
हाल के वर्षों में, विकसित परिदृश्य में KITTI की भूमिका बदल गई है। क्षेत्र में नए कार्यों ने अक्सर सेंसर फ्यूजन की नई वास्तविकता के साथ संरेखित करने के लिए KITTI से विभाजित डेटा का उपयोग किया है, या उन्होंने बेंचमार्क से अपना कार्य प्राप्त किया है। इसकी निरंतर प्रासंगिकता इस बात पर निर्भर करती है कि इसकी सत्यापन प्रक्रिया एआई-आधारित समाधानों को सक्षम बनाती है जो प्रतिलिपि प्रस्तुत करने योग्य, मानकीकृत और शैक्षणिक रूप से विश्वसनीय हैं।
चूंकि KITTI बेंचमार्क शुरू से ही रोबोटिक्स अनुसंधान में सार्वजनिक भलाई के लिए एक सार्वजनिक रूप से वित्त पोषित प्रयास था, इसका भविष्य इसके रखरखाव से जुड़ा हुआ है। जैसे-जैसे एवी डेटा के लिए डेटा गोपनीयता और लाइसेंसिंग अधिक सीमित होती जा रही है, KITTI मॉडल, जिसमें कोई ऑप्टिकल क्रेडेंशियल गायब नहीं है, बल्कि कई समुच्चय प्राप्त होते हैं, रोबोटिक क्षेत्र में खुले विज्ञान के लिए एक मॉडल के रूप में काम कर सकता है। इसके मेट्रिक्स और प्रोटोकॉल इस प्रकार न केवल पिछली उपलब्धियों की सूची हैं, बल्कि एक नींव भी हैं जिस पर निर्माण किया जाना है - मूल्यांकन को सटीक बनाने के लिए ढालना।