विज़ुअल क्वेश्चन आंसरिंग (VQA) एक शोध क्षेत्र है जो कृत्रिम बुद्धिमत्ता और मशीन लर्निंग में कंप्यूटर विज़न और प्राकृतिक भाषा प्रसंस्करण को जोड़ता है। इस कार्य में एक छवि और उस छवि के बारे में एक मुक्त-रूप, खुला प्रश्न प्रदान करना शामिल है, और सिस्टम को प्राकृतिक भाषा में सही उत्तर उत्पन्न करना होता है। VQA को एक चुनौतीपूर्ण समस्या माना जाता है क्योंकि इसके लिए न केवल वस्तु पहचान और दृश्य समझ की आवश्यकता होती है, बल्कि तर्क, सामान्य ज्ञान, और भाषा को दृश्य सामग्री में आधारित करने की क्षमता भी आवश्यक होती है। यह मल्टीमॉडल AI प्रणालियों की क्षमताओं का मूल्यांकन करने के लिए एक मुख्य बेंचमार्क के रूप में कार्य करता है, विशेष रूप से उन प्रणालियों के लिए जो डीप लर्निंग आर्किटेक्चर पर निर्मित हैं।
VQA कार्य को 2015 में वर्जीनिया टेक, माइक्रोसॉफ्ट, और टोरंटो के शोधकर्ताओं द्वारा VQA डेटासेट के जारी होने के साथ औपचारिक रूप दिया गया था। मूल डेटासेट, VQA v1, में माइक्रोसॉफ्ट COCO डेटासेट और अमूर्त दृश्यों से 200,000 से अधिक छवियां शामिल थीं, जिनके साथ 760,000 से अधिक प्रश्न और 10 मिलियन उत्तर जोड़े गए थे। प्रत्येक छवि में तीन प्रश्न थे, और प्रत्येक प्रश्न में मानव एनोटेटरों से दस ग्राउंड-ट्रुथ उत्तर थे। डेटासेट को सरल गिनती और रंग पहचान से लेकर स्थानिक संबंधों और गतिविधियों के बारे में अधिक जटिल तर्क तक कौशल की एक श्रृंखला की आवश्यकता के लिए डिज़ाइन किया गया था। एक अनुवर्ती, VQA v2, 2017 में जारी किया गया था ताकि प्रत्येक प्रश्न प्रकार के लिए उत्तरों को संतुलित करके भाषा पूर्वाग्रहों को संबोधित किया जा सके, यह सुनिश्चित करते हुए कि मॉडल अकेले पूर्व ज्ञान पर निर्भर नहीं कर सकता।
आर्किटेक्चर और दृष्टिकोण
प्रारंभिक VQA प्रणालियों ने छवि विशेषता निष्कर्षण के लिए कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) और प्रश्न एन्कोडिंग के लिए आवर्तक न्यूरल नेटवर्क (RNN) या लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क का संयोजन उपयोग किया। इन विशेषताओं को फिर अक्सर तत्व-वार गुणन या संयोजन के माध्यम से जोड़ा गया, और एक निश्चित शब्दावली से उत्तर की भविष्यवाणी करने के लिए एक क्लासिफायर के माध्यम से पारित किया गया। एक उल्लेखनीय प्रारंभिक मॉडल डेटासेट निर्माताओं से "VQA बेसलाइन" था, जिसने बैग-ऑफ-वर्ड्स प्रश्न प्रतिनिधित्व और एक VGGNet छवि एन्कोडर का उपयोग किया।
ट्रांसफॉर्मर आर्किटेक्चर के आगमन के साथ, VQA मॉडल ध्यान-आधारित तंत्रों की ओर स्थानांतरित हो गए। मल्टी-हेड अटेंशन तंत्र ने मॉडलों को प्रश्न शब्दों के आधार पर प्रासंगिक छवि क्षेत्रों पर गतिशील रूप से ध्यान केंद्रित करने की अनुमति दी। एन्कोडर-डिकोडर ढांचा मानक बन गया, जिसमें छवि और प्रश्न संयुक्त रूप से एन्कोड किए गए और उत्तर स्वप्रतिगामी रूप से उत्पन्न किया गया। हाल ही में, बड़े पैमाने पर पूर्व-प्रशिक्षित मॉडल, जैसे कि बड़े भाषा मॉडल बैकबोन पर आधारित, को VQA के लिए ठीक-ट्यून किया गया है, जो छवि-पाठ जोड़ों पर क्रॉस-मोडल पूर्व-प्रशिक्षण का लाभ उठाते हैं। ये मॉडल अक्सर दृश्य और पाठ्य टोकन को संरेखित करने के लिए क्रॉस-अटेंशन परतों का उपयोग करते हैं।
प्रमुख डेटासेट और बेंचमार्क
मूल VQA v1 और v2 के अलावा, कई अन्य डेटासेट ने कार्य के दायरे का विस्तार किया है। विज़ुअल जीनोम डेटासेट, 2016 में जारी, वस्तुओं, विशेषताओं और संबंधों की घनी एनोटेशन प्रदान करता है, जिससे अधिक रचनात्मक प्रश्न उत्तर सक्षम होता है। GQA डेटासेट, 2019 में पेश किया गया, तर्क और रचनात्मक प्रश्नों पर केंद्रित था, जिसमें पूर्वाग्रहों को कम करने के लिए एक संतुलित विभाजन था। CLEVR डेटासेट, 2017 से, व्यवस्थित तर्क का परीक्षण करने के लिए सिंथेटिक 3D आकृतियों का उपयोग करता है, जिसमें बहु-चरणीय अनुमान की आवश्यकता होती है। वास्तविक दुनिया के अनुप्रयोगों के लिए, VizWiz डेटासेट, 2018 से, अंधे उपयोगकर्ताओं से प्रश्न एकत्र करता है, जो एक अधिक व्यावहारिक लेकिन शोर वाला सेटिंग प्रस्तुत करता है। OK-VQA डेटासेट, 2019 में जारी, उन प्रश्नों पर जोर देता है जिनके लिए छवि सामग्री से परे बाहरी ज्ञान की आवश्यकता होती है।
मूल्यांकन मेट्रिक्स
VQA मॉडल का मूल्यांकन आमतौर पर सटीकता का उपयोग करके किया जाता है, जहां एक भविष्यवाणी किया गया उत्तर सही माना जाता है यदि यह दस मानव ग्राउंड-ट्रुथ उत्तरों में से कम से कम तीन से मेल खाता है। यह मेट्रिक, जिसे VQA सटीकता के रूप में जाना जाता है, खुले-अंत उत्तरों की व्यक्तिपरकता को संभालने के लिए डिज़ाइन किया गया है। बहु-विकल्पीय रूपों के लिए, मानक सटीकता का उपयोग किया जाता है। हाल के बेंचमार्क स्थिरता और ग्राउंडिंग मेट्रिक्स भी रिपोर्ट करते हैं, जैसे कि क्या मॉडल का ध्यान प्रासंगिक छवि क्षेत्रों के साथ संरेखित है। VQA v2 लीडरबोर्ड एक मानक संदर्भ रहा है, हालांकि कई आधुनिक मॉडल सामान्यीकरण प्रदर्शित करने के लिए विभिन्न डेटासेट पर परिणाम रिपोर्ट करते हैं।
चुनौतियाँ और सीमाएँ
VQA में एक प्राथमिक चुनौती भाषा पूर्वाग्रह है, जहां मॉडल वास्तव में छवि को समझने के बजाय प्रशिक्षण डेटा में सांख्यिकीय नियमितताओं का शोषण करते हैं। उदाहरण के लिए, एक मॉडल वस्तुओं को देखे बिना किसी भी गिनती प्रश्न के लिए "2" का उत्तर दे सकता है। VQA v2 डेटासेट को विशेष रूप से यह सुनिश्चित करके इसे कम करने के लिए डिज़ाइन किया गया था कि प्रत्येक प्रश्न प्रकार में उत्तरों का एक संतुलित सेट हो। एक और चुनौती रचनात्मक सामान्यीकरण है, जहां मॉडल उन प्रश्नों पर विफल होते हैं जो अवधारणाओं को अदृश्य तरीकों से जोड़ते हैं। बाहरी ज्ञान को एकीकृत करना भी कठिन है, क्योंकि कई प्रश्नों के लिए सामान्य ज्ञान तर्क या तथ्यात्मक जानकारी की आवश्यकता होती है जो छवि में मौजूद नहीं है। अंत में, प्रतिकूल हमलों और वितरण बदलाव के प्रति मजबूती एक खुली समस्या बनी हुई है, क्योंकि मॉडल छवि या प्रश्न में छोटे बदलावों से आसानी से धोखा खा सकते हैं।
अनुप्रयोग और भविष्य की दिशाएँ
VQA के सहायक तकनीक में व्यावहारिक अनुप्रयोग हैं, जैसे कि दृष्टिहीन उपयोगकर्ताओं को उनके परिवेश को समझने में मदद करना, जैसा कि VizWiz परियोजना में देखा गया है। इसका उपयोग मानव-रोबोट संपर्क, चिकित्सा इमेजिंग (जैसे, एक्स-रे के बारे में प्रश्नों का उत्तर देना), और सामग्री-आधारित छवि पुनर्प्राप्ति में भी किया जाता है। भविष्य की दिशाओं में तंत्रिका नेटवर्क आर्किटेक्चर के माध्यम से तर्क क्षमताओं में सुधार शामिल है जो प्रतीकात्मक घटकों को शामिल करते हैं, अधिक विस्तृत और खुले-अंत उत्तरों के लिए जनरेटिव AI मॉडल को एकीकृत करना, और बेहतर मूल्यांकन मेट्रिक्स विकसित करना जो अर्थ संबंधी समानता को पकड़ते हैं। 2020 के दशक के मध्य तक, अत्याधुनिक मॉडल अक्सर वेब-स्केल डेटा पर बड़े पैमाने पर पूर्व-प्रशिक्षण का लाभ उठाते हैं, लेकिन वे अभी भी सूक्ष्म स्थानिक तर्क और दुर्लभ वस्तु पहचान के साथ संघर्ष करते हैं।