COCO 2017, कॉमन ऑब्जेक्ट्स इन कॉन्टेक्स्ट (COCO) चुनौती का वार्षिक संस्करण है, जो ऑब्जेक्ट डिटेक्शन, सेगमेंटेशन और इमेज कैप्शनिंग के लिए एक बड़े पैमाने का बेंचमार्क है। 2017 में माइक्रोसॉफ्ट अनुसंधान टीम द्वारा जारी किया गया, यह कंप्यूटर विज़न मॉडल के लिए मानक मूल्यांकन डेटासेट बन गया, जो 2014 और 2015 के पहले के संस्करणों का उत्तराधिकारी था। डेटासेट में 118,000 प्रशिक्षण छवियाँ, 5,000 सत्यापन छवियाँ और 41,000 परीक्षण छवियाँ शामिल हैं, जिनमें एनोटेशन 80 ऑब्जेक्ट श्रेणियों और 91 स्टफ श्रेणियों को कवर करते हैं।
चुनौती कार्यों में बाउंडिंग-बॉक्स ऑब्जेक्ट डिटेक्शन, इंस्टेंस सेगमेंटेशन, पैनोप्टिक सेगमेंटेशन (बाद में जोड़ा गया) और इमेज कैप्शनिंग शामिल हैं। COCO 2017 ने एक नया टेस्ट-डेव विभाजन और परिष्कृत एनोटेशन प्रोटोकॉल पेश किया, जिससे यह पिछले संस्करणों की तुलना में अधिक कठोर बन गया। यह शैक्षणिक अनुसंधान और उद्योग प्रतियोगिताओं में व्यापक रूप से उपयोग किया जाता है, जिसमें लीडरबोर्ड अत्याधुनिक प्रदर्शन को ट्रैक करते हैं।
डेटासेट संरचना
COCO 2017 डेटासेट में 200,000 से अधिक छवियाँ शामिल हैं, जिनमें 1.5 मिलियन से अधिक लेबल किए गए उदाहरण हैं। प्रत्येक छवि को ऑब्जेक्ट बाउंडिंग बॉक्स, सेगमेंटेशन मास्क और कैप्शन के साथ एनोटेट किया गया है। 80 ऑब्जेक्ट श्रेणियों में व्यक्ति, कार, कुत्ता और कुर्सी जैसी सामान्य वस्तुएँ शामिल हैं, जबकि 91 स्टफ श्रेणियाँ घास, आकाश और दीवार जैसी पृष्ठभूमि को कवर करती हैं। छवियाँ फ़्लिकर से प्राप्त की गई हैं और दृश्य संरचना, प्रकाश व्यवस्था और ऑब्जेक्ट पैमाने में विविध हैं।
एनोटेशन JSON प्रारूप में प्रदान किए जाते हैं, जिसमें प्रत्येक छवि में कई एनोटेशन प्रविष्टियाँ होती हैं। प्रशिक्षण सेट का उपयोग मॉडल प्रशिक्षण के लिए किया जाता है, जबकि सत्यापन सेट हाइपरपैरामीटर ट्यूनिंग और मॉडल चयन के लिए होता है। परीक्षण सेट का उपयोग अंतिम मूल्यांकन के लिए किया जाता है, जिसमें ओवरफिटिंग को रोकने के लिए एनोटेशन सार्वजनिक पहुँच से छिपाए जाते हैं।
मूल्यांकन मेट्रिक्स
COCO 2017 मानक COCO मूल्यांकन मेट्रिक्स का उपयोग करता है, मुख्य रूप से औसत परिशुद्धता (AP) और औसत पुनर्प्राप्ति (AR)। AP की गणना कई इंटरसेक्शन-ओवर-यूनियन (IoU) थ्रेसहोल्ड पर की जाती है, 0.5 से 0.95 तक 0.05 के चरणों में, और औसत निकाला जाता है। यह मेट्रिक पारंपरिक PASCAL VOC मेट्रिक की तुलना में अधिक कठोर है, जो एक निश्चित IoU 0.5 का उपयोग करता है। प्राथमिक मेट्रिक AP@[0.5:0.95] है, जिसे अक्सर केवल AP के रूप में दर्शाया जाता है।
सेगमेंटेशन कार्यों के लिए, समान मेट्रिक्स मास्क भविष्यवाणियों पर लागू होते हैं। कैप्शनिंग के लिए, BLEU, METEOR और CIDEr जैसे मेट्रिक्स का उपयोग किया जाता है। चुनौती अनुमान गति को भी ट्रैक करती है, कुछ वर्षों में एक अलग विलंबता श्रेणी के साथ।
कंप्यूटर विज़न पर प्रभाव
COCO 2017 ऑब्जेक्ट डिटेक्शन और सेगमेंटेशन अनुसंधान के लिए वास्तविक मानक बेंचमार्क बन गया। कई प्रभावशाली मॉडल इस पर मूल्यांकित किए गए, जिनमें ResNet-आधारित डिटेक्टर, U-Net वेरिएंट और बाद में ट्रांसफॉर्मर-आधारित आर्किटेक्चर शामिल हैं। डेटासेट ने मल्टी-स्केल फीचर लर्निंग, एंकर-फ्री डिटेक्शन और इंस्टेंस सेगमेंटेशन में प्रगति को बढ़ावा दिया।
इसका बड़ा पैमाना और विविध एनोटेशन डेटा ऑगमेंटेशन तकनीकों और बैच नॉर्मलाइज़ेशन विधियों के विकास को सक्षम बनाते हैं। चुनौती ने कमजोर पर्यवेक्षित लर्निंग और अर्ध-पर्यवेक्षित लर्निंग में अनुसंधान को भी प्रेरित किया, क्योंकि परीक्षण सेट एनोटेशन छिपे हुए हैं।
चुनौती संस्करण और विजेता
COCO 2017 वार्षिक चुनौतियों की एक श्रृंखला का हिस्सा था। 2017 संस्करण में प्रमुख तकनीकी कंपनियों और शैक्षणिक संस्थानों ने भाग लिया। विजेता टीमों ने अक्सर एन्सेम्बल मॉडल और उन्नत प्रशिक्षण रणनीतियों का उपयोग किया। उदाहरण के लिए, 2017 में डिटेक्शन विजेता ने 0.493 का AP हासिल किया, जो 2015 के विजेता के 0.375 से महत्वपूर्ण सुधार था।
चुनौती प्रारूप में डिटेक्शन, सेगमेंटेशन और कैप्शनिंग के लिए अलग-अलग ट्रैक शामिल थे। सेगमेंटेशन ट्रैक इंस्टेंस-स्तरीय मास्क पर केंद्रित था, जबकि कैप्शनिंग ट्रैक के लिए प्राकृतिक भाषा विवरण उत्पन्न करना आवश्यक था। 2017 संस्करण ने स्टफ सेगमेंटेशन का एक नया कार्य भी पेश किया, जो बाद में 2018 में पैनोप्टिक सेगमेंटेशन में विकसित हुआ।
विरासत और भविष्य
COCO 2017 LVIS और ओपन इमेजेस जैसे नए डेटासेट की शुरुआत के बाद भी व्यापक रूप से उपयोग में बना हुआ है। इसके एनोटेशन अभी भी कई डीप लर्निंग मॉडल के मूल्यांकन के लिए मानक हैं। डेटासेट को Detectron2 और MMDetection जैसे लोकप्रिय टूलकिट में शामिल किया गया है, जिससे यह दुनिया भर के शोधकर्ताओं के लिए सुलभ हो गया है।
2025 तक, COCO 2017 मॉडल प्रदर्शन के लिए एक संदर्भ बिंदु बना हुआ है, हालाँकि Google Cloud के ओपन इमेजेस और AWS के सार्वजनिक डेटासेट जैसे नए बेंचमार्क वैकल्पिक चुनौतियाँ प्रदान करते हैं। COCO कंसोर्टियम ने बाद के संस्करण जारी किए हैं, लेकिन 2017 साहित्य में सबसे अधिक उद्धृत और उपयोग किया जाने वाला संस्करण बना हुआ है।