मल्टी-टास्क लर्निंग (MTL) Machine learning की एक उपशाखा है जिसमें कई सीखने के कार्यों को एक साथ हल किया जाता है, साथ ही कार्यों के बीच समानताओं और अंतरों का लाभ उठाया जाता है। यह दृष्टिकोण मॉडलों को अलग-अलग प्रशिक्षित करने की तुलना में कार्य-विशिष्ट मॉडलों के लिए बेहतर सीखने की दक्षता और भविष्यवाणी सटीकता में सुधार कर सकता है। स्वाभाविक रूप से, मल्टी-टास्क लर्निंग एक बहु-उद्देश्यीय अनुकूलन समस्या है जिसमें विभिन्न कार्यों के बीच व्यापार-बंद होते हैं। MTL के शुरुआती संस्करणों को "संकेत" कहा जाता था।
1997 के एक व्यापक रूप से उद्धृत पेपर में, रिच कारुआना ने MTL को आगमनात्मक स्थानांतरण के एक दृष्टिकोण के रूप में चित्रित किया जो संबंधित कार्यों के प्रशिक्षण संकेतों में निहित डोमेन जानकारी को आगमनात्मक पूर्वाग्रह के रूप में उपयोग करके सामान्यीकरण में सुधार करता है। यह साझा प्रतिनिधित्व का उपयोग करते हुए कार्यों को समानांतर में सीखकर करता है; प्रत्येक कार्य के लिए जो सीखा जाता है वह अन्य कार्यों को बेहतर ढंग से सीखने में मदद कर सकता है। वर्गीकरण संदर्भ में, MTL का उद्देश्य कई वर्गीकरण कार्यों को संयुक्त रूप से सीखकर उनके प्रदर्शन में सुधार करना है। एक उदाहरण स्पैम फ़िल्टर है, जिसे विभिन्न उपयोगकर्ताओं के लिए अलग-अलग लेकिन संबंधित वर्गीकरण कार्यों के रूप में माना जा सकता है। विभिन्न लोगों के पास स्पैम को वैध ईमेल से अलग करने वाली विशेषताओं के अलग-अलग वितरण होते हैं (उदाहरण के लिए, एक अंग्रेजी बोलने वाला व्यक्ति सभी रूसी ईमेल को स्पैम मान सकता है, लेकिन एक रूसी बोलने वाला नहीं), फिर भी समानता होती है, जैसे धन हस्तांतरण से संबंधित पाठ। MTL के माध्यम से प्रत्येक उपयोगकर्ता की स्पैम वर्गीकरण समस्या को संयुक्त रूप से हल करने से समाधान एक-दूसरे को सूचित कर सकते हैं और प्रदर्शन में सुधार कर सकते हैं। अन्य सेटिंग्स में बहु-वर्ग वर्गीकरण और बहु-लेबल वर्गीकरण शामिल हैं।
मल्टी-टास्क लर्निंग इसलिए काम करती है क्योंकि किसी एल्गोरिदम को संबंधित कार्य पर अच्छा प्रदर्शन करने की आवश्यकता से प्रेरित नियमितीकरण उस नियमितीकरण से बेहतर हो सकता है जो सभी जटिलता को समान रूप से दंडित करके ओवरफिटिंग को रोकता है। MTL विशेष रूप से तब सहायक हो सकता है जब कार्य महत्वपूर्ण समानताएं साझा करते हैं और आम तौर पर थोड़े कम-नमूने वाले होते हैं, हालांकि यह असंबंधित कार्यों को सीखने के लिए भी फायदेमंद दिखाया गया है।
कार्य समूहीकरण और अतिव्यापन
MTL प्रतिमान के भीतर, जानकारी कुछ या सभी कार्यों में साझा की जा सकती है। कार्य संबंधितता की संरचना के आधार पर, कोई चुनिंदा रूप से जानकारी साझा कर सकता है। कार्यों को समूहीकृत किया जा सकता है, पदानुक्रम में मौजूद हो सकते हैं, या एक सामान्य मीट्रिक के अनुसार संबंधित हो सकते हैं। औपचारिक रूप से, प्रत्येक कार्य को मॉडल करने वाला पैरामीटर वेक्टर अंतर्निहित आधार वैक्टर का एक रैखिक संयोजन हो सकता है। इस आधार में समानता कार्य संबंधितता को इंगित करती है; उदाहरण के लिए, विरलता के साथ, कार्यों में गैर-शून्य गुणांक का अतिव्यापन सामान्यता को इंगित करता है। एक कार्य समूहीकरण आधार तत्वों के एक उपसमुच्चय द्वारा उत्पन्न उप-स्थान में स्थित कार्यों से मेल खाता है, जिसमें समूह असंयुक्त या अतिव्यापी हो सकते हैं। कार्य संबंधितता को पहले से लगाया जा सकता है या डेटा से सीखा जा सकता है। पदानुक्रमित संबंधितता को स्पष्ट सीखने के बिना भी अंतर्निहित रूप से दोहन किया जा सकता है, जैसे कि डोमेन में प्रभावी संयुक्त सीखने को सुनिश्चित करने के लिए कार्यों में नमूना प्रासंगिकता सीखना।
असंबंधित कार्यों का दोहन: सहायक शिक्षण
सहायक शिक्षण में, कोई मुख्य कार्यों के एक समूह को सीखता है, जिसमें मुख्य कार्यों से असंबंधित सहायक कार्यों के एक समूह का उपयोग किया जाता है। सही असंबंधित कार्यों के साथ, समान इनपुट डेटा का उपयोग करके संयुक्त शिक्षण फायदेमंद दिखाया गया है, जो मानक MTL पर महत्वपूर्ण सुधार प्रदान करता है। कार्य संबंधितता के बारे में पूर्व ज्ञान डेटा वितरण की विशिष्टताओं को छानकर प्रत्येक कार्य समूहीकरण के लिए अधिक विरल और अधिक जानकारीपूर्ण प्रतिनिधित्व की ओर ले जा सकता है। विधियां प्रत्येक समूहीकरण के भीतर साझा निम्न-आयामी प्रतिनिधित्व का पक्ष ले सकती हैं और विभिन्न समूहों के कार्यों पर ऑर्थोगोनल प्रतिनिधित्व को प्रोत्साहित करने के लिए दंड लगा सकती हैं। असंबंधित सहायक कार्यों के साथ सीखना दो चुनौतियां प्रस्तुत करता है: उपयोगी सहायक कार्यों को ढूंढना और सभी कार्यों के नुकसान को उपयोगी रूप से संयोजित करना। कुछ विधियां प्रशिक्षण के दौरान इन्हें डेटा से सीखती हैं।
ज्ञान का स्थानांतरण
MTL से संबंधित ज्ञान स्थानांतरण है। पारंपरिक MTL कार्यों में एक साझा प्रतिनिधित्व विकसित करता है, जबकि ज्ञान स्थानांतरण एक अनुक्रमिक रूप से साझा प्रतिनिधित्व का तात्पर्य रखता है। बड़े पैमाने पर मशीन लर्निंग परियोजनाएं, जैसे कि गहरा कन्वोल्यूशनल न्यूरल नेटवर्क GoogLeNet (एक छवि-आधारित वस्तु वर्गीकारक), संबंधित कार्यों को सीखने वाले आगे के एल्गोरिदम के लिए उपयोगी मजबूत प्रतिनिधित्व विकसित कर सकती हैं। एक पूर्व-प्रशिक्षित मॉडल का उपयोग किसी अन्य सीखने के एल्गोरिदम में प्री-प्रोसेसिंग के लिए फीचर एक्सट्रैक्टर के रूप में किया जा सकता है, या समान वास्तुकला वाले मॉडल को आरंभ करने के लिए उपयोग किया जा सकता है जिसे बाद में एक अलग वर्गीकरण कार्य के लिए फाइन-ट्यून किया जाता है। यह दृष्टिकोण Deep learning और Neural network अभ्यास में आम है, जिसमें Large language model विकास भी शामिल है।
कई गैर-स्थिर कार्य
परंपरागत रूप से, MTL और ज्ञान स्थानांतरण स्थिर सीखने की सेटिंग्स पर लागू होते हैं। गैर-स्थिर वातावरणों में उनका विस्तार ग्रुप ऑनलाइन एडेप्टिव लर्निंग (GOAL) कहलाता है। जब शिक्षार्थी लगातार बदलते वातावरण में काम करते हैं तो जानकारी साझा करना विशेष रूप से उपयोगी हो सकता है, क्योंकि एक शिक्षार्थी जल्दी से अनुकूलन करने के लिए दूसरे शिक्षार्थी के पिछले अनुभव से लाभ उठा सकता है। इस तरह के समूह-अनुकूली शिक्षण में वित्तीय समय-श्रृंखला की भविष्यवाणी, सामग्री अनुशंसा प्रणाली, और अनुकूली स्वायत्त एजेंटों के लिए दृश्य समझ में अनुप्रयोग हैं।
बहु-कार्य अनुकूलन
बहु-कार्य अनुकूलन पूरी अनुकूलन प्रक्रिया को हल करने पर केंद्रित है, जो भविष्य कहने वाले विश्लेषण में स्थानांतरण शिक्षण और MTL से प्रेरित है। मुख्य प्रेरणा यह है कि यदि अनुकूलन कार्य इष्टतम समाधान या फ़ंक्शन परिदृश्य विशेषताओं के संदर्भ में संबंधित हैं, तो खोज प्रगति को अन्य कार्यों पर खोज को तेज करने के लिए स्थानांतरित किया जा सकता है। सफलता केवल सरल से अधिक जटिल कार्यों तक एकतरफा ज्ञान हस्तांतरण तक सीमित नहीं है; व्यवहार में, संबंधितता का द्विदिशात्मक रूप से लाभ उठाने के प्रयास किए जाते हैं।
विधियां और वास्तुकलाएं
MTL में मुख्य चुनौती कई कार्यों से सीखने के संकेतों को एक ही मॉडल में संयोजित करना है। यह इस बात पर निर्भर करता है कि कार्य एक-दूसरे से कितनी अच्छी तरह सहमत या विरोधाभासी हैं। Deep learning में सामान्य वास्तुकला दृष्टिकोणों में हार्ड पैरामीटर साझाकरण शामिल है, जहां कार्य-विशिष्ट आउटपुट परतों के साथ कार्यों में एक साझा छिपी परत का उपयोग किया जाता है, और सॉफ्ट पैरामीटर साझाकरण, जहां प्रत्येक कार्य का अपना मॉडल होता है जिसमें समानता को प्रोत्साहित करने के लिए नियमित पैरामीटर होते हैं। Transformer (architecture)-आधारित मॉडलों में, MTL अक्सर बहु-कार्य फाइन-ट्यूनिंग के माध्यम से लागू किया जाता है, जहां एक पूर्व-प्रशिक्षित मॉडल को एक साथ कई उद्देश्यों पर प्रशिक्षित किया जाता है, कभी-कभी कार्य-विशिष्ट हेड का उपयोग करके। Data Augmentation, Dropout, और Batch Normalization जैसी तकनीकें साझा प्रतिनिधित्व को नियमित करने में मदद कर सकती हैं। Adam (Optimizer) और Stochastic Gradient Descent Variants जैसी अनुकूलन विधियां आमतौर पर उपयोग की जाती हैं, जिसमें कार्य हानियों को संतुलित करने के लिए Learning Rate Scheduling समायोजन होते हैं।
अनुप्रयोग और अनुसंधान
MTL को डोमेन में लागू किया गया है। Computer vision में, GoogLeNet और Residual Network (ResNet) जैसे मॉडल वस्तु पहचान और विभाजन जैसे संबंधित कार्यों पर संयुक्त प्रशिक्षण से लाभ उठाते हैं। प्राकृतिक भाषा प्रसंस्करण में, Transformer (architecture) जैसे मॉडल OpenAI, Anthropic, और Google DeepMind से विविध उद्योगों में MTL का उपयोग पूर्व-प्रशिक्षण के दौरान करते हैं। उद्योग में, Amazon Web Services, Microsoft Azure, और Google Cloud जैसी कंपनियां अपने AI प्लेटफार्मों में MTL क्षमताएं प्रदान करती हैं। MIT CSAIL, Stanford AI Lab, BAIR (Berkeley AI Research), और University of Toronto जैसे अनुसंधान संस्थानों ने मौलिक कार्य में योगदान दिया है। उल्लेखनीय शोधकर्ताओं में Michael I. Jordan, Anima Anandkumar, और रिच सटन शामिल हैं (हालांकि प्रदान की गई सूची में नहीं, क्षेत्र में कई योगदानकर्ता हैं)। MTL Curriculum Learning के साथ भी प्रतिच्छेद करता है, जहां कार्यों को कठिनाई के क्रम में व्यवस्थित किया जाता है, और Reinforcement Learning from AI Feedback (RLAIF), जो कई उद्देश्यों के लिए मानव प्रतिक्रिया का उपयोग करता है।
चुनौतियां और भविष्य दिशाएं
लाभों के बावजूद, MTL को नकारात्मक स्थानांतरण जैसी चुनौतियों का सामना करना पड़ता है, जहां असंबंधित कार्य प्रदर्शन को खराब करते हैं, और कार्य हानियों को संतुलित करना। व्यापार-बंद को संभालने के लिए बहु-उद्देश्यीय अनुकूलन तकनीकें विकसित की जा रही हैं। 2020 के दशक की शुरुआत तक, अनुकूली कार्य भारण, कार्य समूहीकरण विधियों, और MTL को गैर-स्थिर और बहु-एजेंट सेटिंग्स तक विस्तार करने पर अनुसंधान जारी है। प्रतिमान [[artificial-intelligence में सामान्यीकरण में सुधार के लिए एक मुख्य उपकरण बना हुआ है।