शून्य-शॉट वर्गीकरण

शून्य-शॉट वर्गीकरण मशीन लर्निंग में एक समस्या सेटअप है, जहाँ परीक्षण के समय, एक शिक्षार्थी उन वर्गों से नमूने देखता है जो प्रशिक्षण के दौरान नहीं देखे गए थे, और उनके वर्ग की भविष्यवाणी करने की आवश्यकता होती है। यह नाम कंप्यूटर विज़न में पहले की अवधारणा वन-शॉट लर्निंग पर आधारित एक शब्द-खेल है, जिसमें केवल एक उदाहरण से वर्गीकरण सीखा जा सकता है। शून्य-शॉट विधियाँ आम तौर पर देखे गए और न देखे गए वर्गों को सहायक जानकारी के माध्यम से जोड़कर काम करती हैं, जो वस्तुओं के अवलोकन योग्य विशिष्ट गुणों को एन्कोड करती है। उदाहरण के लिए, वर्गीकृत किए जाने वाले जानवरों की छवियों के एक सेट के साथ, साथ ही जानवरों की उपस्थिति के सहायक पाठ्य विवरण के साथ, एक मॉडल जिसे घोड़ों को पहचानने के लिए प्रशिक्षित किया गया है, लेकिन जिसे कभी ज़ेबरा नहीं दिया गया, वह अभी भी ज़ेबरा को पहचान सकता है जब वह यह भी जानता है कि ज़ेबरा धारीदार घोड़ों की तरह दिखते हैं। यह समस्या कंप्यूटर विज़न, प्राकृतिक भाषा प्रसंस्करण और मशीन धारणा में व्यापक रूप से अध्ययन की जाती है।

पृष्ठभूमि और इतिहास

प्राकृतिक भाषा प्रसंस्करण में शून्य-शॉट लर्निंग पर पहला पेपर 2008 में चांग, रैटिनोव, रोथ और श्रीकुमार द्वारा AAAI'08 में प्रकाशित हुआ, लेकिन वहाँ सीखने के प्रतिमान को डेटालेस वर्गीकरण नाम दिया गया था। कंप्यूटर विज़न में शून्य-शॉट लर्निंग पर पहला पेपर उसी सम्मेलन में शून्य-डेटा लर्निंग नाम से प्रकाशित हुआ। शून्य-शॉट लर्निंग शब्द स्वयं साहित्य में पहली बार 2009 में पालातुची, हिंटन, पोमेरलेउ और मिशेल द्वारा NIPS'09 में प्रकाशित एक पेपर में दिखाई दिया। यह शब्दावली बाद में एक अन्य कंप्यूटर विज़न पेपर में दोहराई गई और शून्य-शॉट लर्निंग शब्द पकड़ में आया, जो वन-शॉट लर्निंग पर एक व्युत्पन्न शब्द था जिसे वर्षों पहले कंप्यूटर विज़न में पेश किया गया था।

कंप्यूटर विज़न में, शून्य-शॉट लर्निंग मॉडल ने देखे गए वर्गों के लिए उनके वर्ग प्रतिनिधित्व के साथ पैरामीटर सीखे और वर्ग लेबलों के बीच प्रतिनिधित्वात्मक समानता पर निर्भर रहे, ताकि अनुमान के दौरान, उदाहरणों को नए वर्गों में वर्गीकृत किया जा सके। प्राकृतिक भाषा प्रसंस्करण में, विकसित की गई प्रमुख तकनीकी दिशा "लेबल को समझने" की क्षमता पर आधारित है - लेबल को उसी शब्दार्थ स्थान में प्रस्तुत करना जिसमें वर्गीकृत किए जाने वाले दस्तावेज़ हैं। यह बिना किसी एनोटेटेड डेटा को देखे एकल उदाहरण के वर्गीकरण का समर्थन करता है, जो शून्य-शॉट वर्गीकरण का सबसे शुद्ध रूप है। मूल पेपर ने एक्सप्लिसिट सिमेंटिक एनालिसिस (ESA) प्रतिनिधित्व का उपयोग किया, लेकिन बाद के पेपरों ने घने प्रतिनिधित्व सहित अन्य प्रतिनिधित्वों का उपयोग किया। यह दृष्टिकोण बहुभाषी डोमेन, सूक्ष्म इकाई टाइपिंग और अन्य समस्याओं तक भी विस्तारित किया गया। इसके अलावा, केवल प्रतिनिधित्व पर निर्भर रहने के बजाय, कम्प्यूटेशनल दृष्टिकोण को अन्य कार्यों से स्थानांतरण पर निर्भर करने के लिए विस्तारित किया गया है, जैसे कि पाठ्य आनुषंगिकता और प्रश्न उत्तर।

मूल पेपर यह भी बताता है कि एकल उदाहरण को वर्गीकृत करने की क्षमता के अलावा, जब उदाहरणों का एक संग्रह दिया जाता है, इस धारणा के साथ कि वे एक ही वितरण से आते हैं, तो अर्ध-पर्यवेक्षित तरीके से (या ट्रांसडक्टिव लर्निंग) प्रदर्शन को बूटस्ट्रैप करना संभव है। मशीन लर्निंग में मानक सामान्यीकरण के विपरीत, जहाँ क्लासिफायर से नए नमूनों को उन वर्गों में सही ढंग से वर्गीकृत करने की अपेक्षा की जाती है जिन्हें उन्होंने प्रशिक्षण के दौरान पहले ही देखा है, शून्य-शॉट वर्गीकरण में, क्लासिफायर को प्रशिक्षित करने के दौरान वर्गों के कोई नमूने नहीं दिए गए हैं। इसलिए इसे डोमेन अनुकूलन का एक चरम मामला माना जा सकता है।

शून्य-शॉट वर्गों के लिए पूर्वापेक्षा जानकारी

स्वाभाविक रूप से, इन शून्य-शॉट वर्गों के बारे में किसी प्रकार की सहायक जानकारी दी जानी चाहिए, और इस प्रकार की जानकारी कई प्रकार की हो सकती है।

विशेषताओं के साथ सीखना: वर्ग पूर्व-परिभाषित संरचित विवरण के साथ आते हैं। उदाहरण के लिए, पक्षी विवरण के लिए, इसमें "लाल सिर", "लंबी चोंच" शामिल हो सकते हैं। ये विशेषताएँ अक्सर संरचित रचनात्मक तरीके से व्यवस्थित होती हैं, और उस संरचना को ध्यान में रखने से सीखने में सुधार होता है। जबकि यह दृष्टिकोण ज्यादातर कंप्यूटर विज़न में उपयोग किया गया था, प्राकृतिक भाषा प्रसंस्करण में भी इसके कुछ उदाहरण हैं।

पाठ्य विवरण से सीखना: जैसा कि ऊपर बताया गया है, यह प्राकृतिक भाषा प्रसंस्करण में अपनाई गई प्रमुख दिशा रही है। यहाँ वर्ग लेबल को एक अर्थ रखने वाला माना जाता है और अक्सर परिभाषाओं या मुक्त-पाठ प्राकृतिक-भाषा विवरण के साथ संवर्धित किया जाता है। इसमें उदाहरण के लिए वर्ग का विकिपीडिया विवरण शामिल हो सकता है।

वर्ग-वर्ग समानता: यहाँ, वर्ग एक सतत स्थान में एम्बेडेड होते हैं। एक शून्य-शॉट क्लासिफायर भविष्यवाणी कर सकता है कि एक नमूना उस स्थान में किसी स्थिति से मेल खाता है, और निकटतम एम्बेडेड वर्ग को भविष्यवाणी किए गए वर्ग के रूप में उपयोग किया जाता है, भले ही प्रशिक्षण के दौरान ऐसे कोई नमूने नहीं देखे गए हों।

सामान्यीकृत शून्य-शॉट लर्निंग

उपरोक्त शून्य-शॉट वर्गीकरण सेटअप मानता है कि परीक्षण के समय, केवल शून्य-शॉट नमूने दिए गए हैं, अर्थात् नए अनदेखे वर्गों के नमूने। सामान्यीकृत शून्य-शॉट लर्निंग में, परीक्षण के समय नए और ज्ञात दोनों वर्गों के नमूने दिखाई दे सकते हैं। यह परीक्षण के समय क्लासिफायर के लिए नई चुनौतियाँ पेश करता है, क्योंकि यह अनुमान लगाना बहुत चुनौतीपूर्ण है कि कोई दिया गया नमूना नया है या ज्ञात। इसे संभालने के कुछ दृष्टिकोणों में शामिल हैं:

• एक गेटिंग मॉड्यूल, जिसे पहले यह तय करने के लिए प्रशिक्षित किया जाता है कि कोई दिया गया नमूना नए वर्ग से आता है या पुराने से, और फिर, अनुमान के समय, या तो एक कठोर निर्णय या एक नरम संभाव्य निर्णय आउटपुट करता है
• एक जनरेटिव मॉड्यूल, जिसे अनदेखे वर्गों की फीचर प्रस्तुतियाँ उत्पन्न करने के लिए प्रशिक्षित किया जाता है - एक मानक क्लासिफायर तब सभी वर्गों, देखे और अनदेखे, के नमूनों पर प्रशिक्षित किया जा सकता है।

अनुप्रयोग के डोमेन

शून्य-शॉट लर्निंग निम्नलिखित क्षेत्रों में लागू की गई है:

• छवि वर्गीकरण
• शब्दार्थ विभाजन
• छवि निर्माण
• वस्तु पहचान
• प्राकृतिक भाषा प्रसंस्करण
• कम्प्यूटेशनल जीव विज्ञान
• अमूर्त तर्क

आधुनिक AI से संबंध

बड़े भाषा मॉडल और ट्रांसफार्मर आर्किटेक्चर के उदय के साथ, शून्य-शॉट वर्गीकरण आधुनिक कृत्रिम बुद्धिमत्ता प्रणालियों में एक प्रमुख क्षमता बन गया है। ओपनएआई, एंथ्रोपिक और गूगल डीपमाइंड द्वारा विकसित मॉडल भाषा की अपनी पूर्व-प्रशिक्षित समझ का लाभ उठाकर पाठ पर शून्य-शॉट वर्गीकरण कर सकते हैं, बिना कार्य-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता के। यह पहले के विशेषता-आधारित और एम्बेडिंग-आधारित दृष्टिकोणों से तंत्रिका नेटवर्क भार में एन्कोडेड शब्दार्थ ज्ञान का उपयोग करने की ओर एक बदलाव का प्रतिनिधित्व करता है। कंप्यूटर विज़न में, छवि और पाठ प्रस्तुतियों को संरेखित करके समान प्रगति की गई है, जिससे मॉडल केवल प्राकृतिक भाषा में वर्णित श्रेणियों में छवियों को वर्गीकृत कर सकते हैं। यह तकनीक जनरेटिव AI में कई अनुप्रयोगों के लिए भी मौलिक है, जहाँ मॉडल को नए इनपुट को समझना और वर्गीकृत करना चाहिए।

यह भी देखें

• फ्यू-शॉट लर्निंग
• ट्रांसफर लर्निंग
• फास्ट मैपिंग
• स्पष्टीकरण-आधारित लर्निंग