डोमेन अनुकूलन Machine learning और स्थानांतरण अधिगम से जुड़ा एक क्षेत्र है। यह एक डेटा वितरण पर मॉडल को प्रशिक्षित करने की चुनौती का समाधान करता है, जिसे स्रोत डोमेन कहा जाता है, और इसे संबंधित लेकिन भिन्न डेटा वितरण पर लागू करता है, जिसे लक्ष्य डोमेन कहा जाता है। एक सामान्य उदाहरण स्पैम फ़िल्टरिंग है, जहाँ एक उपयोगकर्ता के ईमेल पर प्रशिक्षित मॉडल (स्रोत डोमेन) को काफी भिन्न पैटर्न वाले दूसरे उपयोगकर्ता के ईमेल (लक्ष्य डोमेन) को संभालने के लिए अनुकूलित किया जाता है। डोमेन अनुकूलन तकनीकें अधिगम को बेहतर बनाने के लिए असंबंधित डेटा स्रोतों का भी लाभ उठा सकती हैं, और जब कई स्रोत वितरण शामिल होते हैं, तो समस्या बहु-स्रोत डोमेन अनुकूलन तक विस्तारित हो जाती है।
डोमेन अनुकूलन स्थानांतरण अधिगम का एक विशिष्ट प्रकार है। पैन और यांग (2010) द्वारा प्रस्तुत वर्गीकरण के अनुसार, यह ट्रांसडक्टिव स्थानांतरण अधिगम की श्रेणी में आता है। इस परिदृश्य में, स्रोत और लक्ष्य कार्य समान होते हैं (जैसे, दोनों वस्तु पहचान हैं), लेकिन डोमेन अपने सीमांत वितरण में भिन्न होते हैं। यह इसे इंडक्टिव स्थानांतरण अधिगम से अलग करता है, जहाँ लक्ष्य कार्य के लिए लेबल किया गया डेटा उपलब्ध होता है, और अनुपरिवेक्षित स्थानांतरण अधिगम, जहाँ दोनों डोमेन में लेबल अनुपलब्ध होते हैं।
डोमेन अनुकूलन समस्याओं का वर्गीकरण
डोमेन अनुकूलन सेटअप दो तरीकों से वर्गीकृत किए जाते हैं: डोमेन के बीच वितरण बदलाव के अनुसार, और लक्ष्य डोमेन से उपलब्ध डेटा के अनुसार।
वितरण बदलाव
सामान्य वितरण बदलाव निम्नानुसार वर्गीकृत हैं:
सहप्रसरण बदलाव तब होता है जब स्रोत और लक्ष्य के इनपुट वितरण बदलते हैं, लेकिन इनपुट और लेबल के बीच संबंध अपरिवर्तित रहता है। स्पैम फ़िल्टरिंग उदाहरण आमतौर पर इसी श्रेणी में आता है: ईमेल के वितरण (पैटर्न) डोमेन के बीच भिन्न हो सकते हैं, लेकिन एक डोमेन में स्पैम के रूप में लेबल किए गए ईमेल को दूसरे में भी समान रूप से लेबल किया जाना चाहिए।
पूर्व बदलाव (लेबल बदलाव) तब होता है जब स्रोत और लक्ष्य डेटासेट के बीच लेबल वितरण भिन्न होता है, जबकि लेबल दिए जाने पर सुविधाओं का सशर्त वितरण समान रहता है। एक उदाहरण इटली (स्रोत डोमेन) और नॉर्वे (लक्ष्य डोमेन) की छवियों में बालों के रंग का वर्गीकरण है। बालों के रंगों (लेबल) का अनुपात भिन्न होता है, लेकिन गोरे और काले बालों वाली आबादी जैसी श्रेणियों के भीतर की छवियाँ डोमेन के बीच सुसंगत रहती हैं। नॉर्वे की आबादी के लिए एक वर्गीकरणकर्ता अपने अनुमानों को बेहतर बनाने के लिए वर्ग अनुपात के इस पूर्व ज्ञान का लाभ उठा सकता है।
अवधारणा बदलाव (सशर्त बदलाव) सुविधाओं और लेबल के बीच संबंध में परिवर्तन को संदर्भित करता है, भले ही इनपुट वितरण समान रहे। उदाहरण के लिए, चिकित्सा निदान में, समान लक्षण (इनपुट) विभिन्न आबादी (डोमेन) में पूरी तरह से भिन्न बीमारियों (लेबल) का संकेत दे सकते हैं।
प्रशिक्षण के दौरान उपलब्ध डेटा
डोमेन अनुकूलन समस्याएँ आमतौर पर मानती हैं कि प्रशिक्षण के दौरान लक्ष्य डोमेन से कुछ डेटा उपलब्ध है। समस्याओं को इस उपलब्ध डेटा के प्रकार के अनुसार वर्गीकृत किया जा सकता है:
अनुपरिवेक्षित: लक्ष्य डोमेन से अलेबलित डेटा उपलब्ध है, लेकिन कोई लेबल किया गया डेटा नहीं। स्पैम फ़िल्टरिंग उदाहरण में, यह उस स्थिति से मेल खाता है जहाँ लक्ष्य डोमेन (उपयोगकर्ता) के ईमेल उपलब्ध हैं, लेकिन वे स्पैम के रूप में लेबल नहीं हैं। डोमेन अनुकूलन विधियाँ लेबल किए गए स्रोत डोमेन डेटा के साथ अपने वितरण (पैटर्न) की तुलना करके ऐसे अलेबलित डेटा से लाभ उठा सकती हैं।
अर्ध-पर्यवेक्षित: लक्ष्य डोमेन से अधिकांश उपलब्ध डेटा अलेबलित है, लेकिन कुछ लेबल किया गया डेटा भी उपलब्ध है। स्पैम फ़िल्टर डिज़ाइन मामले में, यह लक्ष्य उपयोगकर्ता द्वारा कुछ ईमेल को स्पैम या नहीं के रूप में लेबल करने से मेल खाता है।
पर्यवेक्षित: लक्ष्य डोमेन से सभी उपलब्ध डेटा लेबल किया गया है। इस मामले में, डोमेन अनुकूलन स्रोत डोमेन भविष्यवक्ता के शोधन तक सीमित हो जाता है। उदाहरण के लिए, छवियों से बालों के रंग वर्गीकरण में, यह इटली से लेबल किए गए छवियों के बड़े डेटासेट पर पहले से प्रशिक्षित नेटवर्क को नॉर्वे से नए उपलब्ध लेबल किए गए छवियों का उपयोग करके शोधन करने से मेल खा सकता है।
औपचारिकीकरण
मान लीजिए \(X\) इनपुट स्थान (या विवरण स्थान) है और \(Y\) आउटपुट स्थान (या लेबल स्थान) है। मशीन लर्निंग एल्गोरिथ्म का उद्देश्य एक गणितीय मॉडल (एक परिकल्पना) \(h: X \to Y\) सीखना है जो \(X\) से एक उदाहरण पर \(Y\) से एक लेबल जोड़ सके। यह मॉडल एक अधिगम नमूने \(S = \{(x_i, y_i) \in (X \times Y)\}_{i=1}^m\) से सीखा जाता है।
आमतौर पर पर्यवेक्षित अधिगम (डोमेन अनुकूलन के बिना) में, हम मानते हैं कि उदाहरण \((x_i, y_i) \in S\) एक वितरण \(D_S\) से i.i.d. खींचे गए हैं जिसका समर्थन \(X \times Y\) है (अज्ञात और निश्चित)। उद्देश्य तब \(h\) को (S से) सीखना है ताकि वितरण \(D_S\) से आने वाले नए उदाहरणों को लेबल करने में यह न्यूनतम संभव त्रुटि करे।
पर्यवेक्षित अधिगम और डोमेन अनुकूलन के बीच मुख्य अंतर यह है कि बाद की स्थिति में हम \(X \times Y\) पर दो भिन्न (लेकिन संबंधित) वितरण \(D_S\) और \(D_T\) का अध्ययन करते हैं। डोमेन अनुकूलन कार्य तब स्रोत डोमेन \(D_S\) से लक्ष्य डोमेन \(D_T\) तक ज्ञान के स्थानांतरण से मिलकर बनता है।
दृष्टिकोण और तकनीकें
डोमेन अनुकूलन विधियों को मोटे तौर पर कई दृष्टिकोणों में वर्गीकृत किया जा सकता है, हालाँकि यह क्षेत्र विविध और विकसित हो रहा है। एक सामान्य दृष्टिकोण उदाहरण पुनर्भार है, जहाँ स्रोत डोमेन के प्रशिक्षण उदाहरणों को लक्ष्य वितरण से बेहतर मिलान करने के लिए भारित किया जाता है, अक्सर महत्व नमूनाकरण का उपयोग करके। एक और है विशेषता प्रतिनिधित्व अधिगम, जिसका उद्देश्य एक साझा विशेषता स्थान सीखना है जहाँ स्रोत और लक्ष्य वितरण संरेखित हों, जिससे डोमेन बदलाव कम हो। इसे प्रतिकूल प्रशिक्षण जैसी तकनीकों के माध्यम से प्राप्त किया जा सकता है, जहाँ एक विभेदक स्रोत और लक्ष्य विशेषताओं के बीच अंतर करने का प्रयास करता है, और विशेषता निष्कर्षक को इसे मूर्ख बनाने के लिए प्रशिक्षित किया जाता है। पुनरावृत्त स्व-लेबलिंग एक और तकनीक है, जहाँ स्रोत डोमेन पर प्रशिक्षित एक मॉडल का उपयोग लक्ष्य डेटा के लिए छद्म-लेबल उत्पन्न करने के लिए किया जाता है, जिन्हें फिर प्रशिक्षण में शामिल किया जाता है, अक्सर पुनरावृत्त रूप से।
Deep learning के संदर्भ में, डोमेन अनुकूलन अक्सर Neural network आर्किटेक्चर का लाभ उठाता है। उदाहरण के लिए, Residual Network (ResNet) मॉडल को लक्ष्य डेटा पर फाइन-ट्यूनिंग द्वारा अनुकूलित किया जा सकता है। Loss Functions और अनुकूलन विधियों का चयन, जैसे Adam (Optimizer) या Stochastic Gradient Descent Variants, भी अनुकूलन प्रदर्शन को प्रभावित कर सकता है। इसके अतिरिक्त, Data Augmentation तकनीकें प्रशिक्षण के दौरान लक्ष्य-जैसी विविधताओं का अनुकरण करने में मदद कर सकती हैं।
अनुप्रयोग
डोमेन अनुकूलन के कई क्षेत्रों में व्यावहारिक अनुप्रयोग हैं। कंप्यूटर विज़न में, सिंथेटिक छवियों (जैसे, प्रस्तुत दृश्य) पर प्रशिक्षित मॉडल को वास्तविक दुनिया की छवियों के लिए अनुकूलित किया जा सकता है, जो स्वायत्त ड्राइविंग जैसे अनुप्रयोगों के लिए महत्वपूर्ण है, जहाँ लेबल किया गया वास्तविक डेटा दुर्लभ है। प्राकृतिक भाषा प्रसंस्करण में, एक डोमेन (जैसे, पुस्तकें) से उत्पाद समीक्षाओं पर प्रशिक्षित भावना वर्गीकरणकर्ताओं को दूसरे (जैसे, इलेक्ट्रॉनिक्स) के लिए अनुकूलित किया जा सकता है। वाक् पहचान में, एक वक्ता या वातावरण पर प्रशिक्षित ध्वनिक मॉडल को नए वक्ताओं या शोर स्थितियों के लिए अनुकूलित किया जा सकता है। चिकित्सा इमेजिंग में, एक अस्पताल के उपकरणों से छवियों पर प्रशिक्षित मॉडल को दूसरे अस्पताल के भिन्न स्कैनर के लिए अनुकूलित किया जा सकता है, क्योंकि इमेजिंग प्रोटोकॉल में भिन्नता के कारण डेटा वितरण बदल सकता है।
चुनौतियाँ और सीमाएँ
अपने वादे के बावजूद, डोमेन अनुकूलन को कई चुनौतियों का सामना करना पड़ता है। एक प्रमुख मुद्दा नकारात्मक स्थानांतरण है, जहाँ अनुकूलन प्रक्रिया लक्ष्य डोमेन पर प्रदर्शन को खराब कर देती है, अक्सर क्योंकि स्रोत और लक्ष्य डोमेन बहुत असमान होते हैं या अनुकूलन विधि अनुपयुक्त होती है। एक और चुनौती लेबल किए गए लक्ष्य डेटा की कमी है, विशेष रूप से अनुपरिवेक्षित सेटिंग्स में, जिससे अनुकूलित मॉडल को मान्य करना कठिन हो जाता है। इसके अतिरिक्त, वितरण बदलाव जटिल हो सकता है, जिसमें एक साथ कई प्रकार के बदलाव शामिल होते हैं, जिससे एक ही तकनीक से निपटना कठिन हो जाता है। डोमेन अनुकूलन के लिए सैद्धांतिक गारंटी अक्सर सीमित होती हैं, और कई विधियाँ अनुमानों पर निर्भर करती हैं जो विभिन्न समस्याओं में सामान्यीकृत नहीं हो सकती हैं।
अन्य क्षेत्रों से संबंध
डोमेन अनुकूलन स्थानांतरण अधिगम से निकटता से संबंधित है, लेकिन यह अधिक विशिष्ट है: स्थानांतरण अधिगम किसी भी परिदृश्य को शामिल करता है जहाँ एक कार्य या डोमेन से ज्ञान का उपयोग दूसरे में अधिगम को बेहतर बनाने के लिए किया जाता है, जबकि डोमेन अनुकूलन उस मामले पर केंद्रित है जहाँ कार्य समान होते हैं लेकिन डोमेन भिन्न होते हैं। यह अर्ध-पर्यवेक्षित अधिगम के साथ भी प्रतिच्छेद करता है, क्योंकि कई डोमेन अनुकूलन विधियाँ अलेबलित लक्ष्य डेटा का उपयोग करती हैं। इसके अलावा, डोमेन अनुकूलन बहु-कार्य अधिगम के लिए प्रासंगिक है, जहाँ मॉडल को कई संबंधित कार्यों पर एक साथ प्रशिक्षित किया जाता है, और मेटा-अधिगम के लिए, जिसका उद्देश्य ऐसे मॉडल सीखना है जो नए कार्यों या डोमेन के लिए जल्दी से अनुकूलित हो सकें।
भविष्य की दिशाएँ
डोमेन अनुकूलन में अनुसंधान विकसित होता रहता है, जिसमें जनरेटिव मॉडल का उपयोग करके अनुपरिवेक्षित डोमेन अनुकूलन, डोमेन सामान्यीकरण (जहाँ प्रशिक्षण के दौरान कोई लक्ष्य डेटा उपलब्ध नहीं है), और गैर-स्थिर वातावरण के लिए निरंतर डोमेन अनुकूलन जैसे रुझान शामिल हैं। Large language model और Transformer (architecture) आर्किटेक्चर के उदय ने भी नए रास्ते खोले हैं, जैसे न्यूनतम फाइन-ट्यूनिंग के साथ मॉडल को नई भाषाओं या डोमेन के लिए अनुकूलित करना। जैसे-जैसे Artificial intelligence सिस्टम तेजी से विविध वास्तविक दुनिया की सेटिंग्स में तैनात किए जाते हैं, डोमेन अनुकूलन मजबूती और विश्वसनीयता सुनिश्चित करने के लिए एक महत्वपूर्ण क्षेत्र बना हुआ है।