एक असतत प्रसार मॉडल जनरेटिव मॉडल का एक वर्ग है जो असतत अवस्थाओं वाले डेटा पर कार्य करता है, जैसे कि टेक्स्ट टोकन, श्रेणीगत चर, या परिमाणित छवियाँ। निरंतर प्रसार मॉडल के विपरीत, जो वास्तविक-मूल्य वाले डेटा में गाऊसी शोर जोड़ते हैं, असतत प्रसार मॉडल संरचित भ्रष्टीकरण प्रक्रियाओं को लागू करते हैं - जैसे कि यादृच्छिक टोकन मास्किंग या संक्रमण संभावनाएँ - और नए नमूने उत्पन्न करने के लिए इन चरणों को उलटना सीखते हैं। यह दृष्टिकोण भाषा मॉडलिंग और असतत छवि निर्माण जैसे डोमेन में ऑटोरेग्रेसिव मॉडल का एक प्रमुख विकल्प बन गया है।
यह अवधारणा प्रसार मॉडल के व्यापक ढांचे पर आधारित है, जिसे पहली बार 2010 के दशक की शुरुआत में निरंतर डेटा के लिए औपचारिक रूप दिया गया था और 2015 में डीनॉइज़िंग डिफ्यूज़न प्रोबेबिलिस्टिक मॉडल (DDPMs) की शुरुआत के साथ प्रमुखता प्राप्त हुई। असतत डेटा को निरंतर एम्बेडिंग की आवश्यकता के बिना संभालने के लिए असतत प्रकार विकसित किए गए, जिससे मल्टीनोमियल प्रसार और मास्क-आधारित प्रसार जैसी विधियाँ सामने आईं। इन मॉडलों को OpenAI और Google DeepMind सहित प्रमुख AI अनुसंधान समूहों द्वारा टेक्स्ट निर्माण से लेकर प्रोटीन अनुक्रम डिज़ाइन तक के कार्यों के लिए अपनाया गया है।
गणितीय आधार
असतत प्रसार मॉडल एक अग्रगामी प्रक्रिया को परिभाषित करते हैं जो समय चरणों \(t = 1, \dots, T\) पर एक असतत डेटा बिंदु \(x_0\) को धीरे-धीरे एक शोरगुल वाली अवस्था \(x_t\) में भ्रष्ट करता है। भ्रष्टीकरण को आमतौर पर संक्रमण मैट्रिक्स \(Q_t\) के साथ एक मार्कोव श्रृंखला के रूप में मॉडल किया जाता है, जहाँ प्रत्येक प्रविष्टि \([Q_t]_{ij}\) अवस्था \(i\) से अवस्था \(j\) में संक्रमण की संभावना का प्रतिनिधित्व करती है। सामान्य विकल्पों में समान संक्रमण (जहाँ प्रत्येक टोकन समान रूप से संभावित हो जाता है) या अवशोषित अवस्थाएँ (जहाँ टोकन एक विशेष मास्क टोकन द्वारा प्रतिस्थापित किए जाते हैं) शामिल हैं।
उलटी प्रक्रिया एक तंत्रिका नेटवर्क द्वारा पैरामीटराइज़ की जाती है, जो अक्सर ट्रांसफॉर्मर या U-Net होता है, जो एक शोरगुल वाले नमूने को देखते हुए मूल डेटा वितरण की भविष्यवाणी करना सीखता है। प्रशिक्षण नकारात्मक लॉग-संभावना पर एक परिवर्तनीय सीमा को न्यूनतम करता है, जो निरंतर प्रसार के समान है लेकिन असतत श्रेणीगत हानियों के साथ। एक प्रमुख लाभ यह है कि अग्रगामी प्रक्रिया को बंद रूप में गणना की जा सकती है, जिससे हर चरण का अनुकरण किए बिना कुशल प्रशिक्षण संभव होता है।
प्रमुख प्रकार
कई असतत प्रसार आर्किटेक्चर प्रस्तावित किए गए हैं। मल्टीनोमियल प्रसार, जिसे 2021 में बर्कले AI अनुसंधान के शोधकर्ताओं द्वारा पेश किया गया था, श्रेणीगत वितरण और समान संक्रमण मैट्रिक्स का उपयोग करता है। मास्क-आधारित प्रसार, जैसे कि MaskGIT मॉडल, एक अवशोषित-अवस्था प्रक्रिया का उपयोग करता है जहाँ निर्माण के दौरान टोकन धीरे-धीरे अनमास्क किए जाते हैं। हाल के काम, जैसे कि D3PM (असतत डीनॉइज़िंग डिफ्यूज़न प्रोबेबिलिस्टिक मॉडल) ढांचा, सीखे गए संक्रमण मैट्रिक्स की अनुमति देकर इन्हें सामान्यीकृत करता है जो डोमेन-विशिष्ट संरचनाओं को पकड़ सकते हैं, जैसे कि ग्राफ़ में आसन्नता या टेक्स्ट में शब्दार्थ समानता।
भाषा मॉडलिंग के लिए, असतत प्रसार मॉडल को बड़े पैमाने के सिस्टम में एकीकृत किया गया है। उदाहरण के लिए, Google DeepMind का CDCD (सतत-समय असतत प्रसार) मॉडल और OpenAI का प्रसार भाषा मॉडल पर बाद का काम, भाषा मॉडलिंग पर्प्लेक्सिटी और टेक्स्ट निर्माण गुणवत्ता जैसे बेंचमार्क पर ऑटोरेग्रेसिव ट्रांसफॉर्मर के साथ प्रतिस्पर्धी प्रदर्शन प्रदर्शित किया है। ये मॉडल अक्सर स्थितीय एन्कोडिंग और मल्टी-हेड अटेंशन को मुख्य घटकों के रूप में उपयोग करते हैं।
अनुप्रयोग
असतत प्रसार मॉडल विभिन्न जनरेटिव कार्यों में उपयोग किए जाते हैं। प्राकृतिक भाषा प्रसंस्करण में, वे गैर-ऑटोरेग्रेसिव टेक्स्ट निर्माण को सक्षम करते हैं, जो अनुक्रमिक डिकोडिंग की तुलना में तेज़ हो सकता है क्योंकि सभी टोकन समानांतर में उत्पन्न होते हैं। यह मशीन अनुवाद और टेक्स्ट सारांशीकरण के लिए विशेष रूप से उपयोगी है, जहाँ विलंबता मायने रखती है। कंप्यूटर विज़न में, असतत प्रसार को असतत पिक्सेल मान या परिमाणित लेटेंट कोड के साथ छवियाँ उत्पन्न करने के लिए लागू किया गया है, जो अक्सर निरंतर मॉडल के बराबर गुणवत्ता प्राप्त करते हुए अधिक व्याख्यात्मक होते हैं।
टेक्स्ट और छवियों से परे, असतत प्रसार मॉडल बायोइन्फॉर्मेटिक्स में प्रोटीन अनुक्रम उत्पन्न करने और दवा खोज में आणविक ग्राफ़ डिज़ाइन करने के लिए नियोजित हैं। वे सुदृढीकरण सीखने में योजना और नीति निर्माण के लिए भी दिखाई देते हैं। उद्योग अपनाने में Amazon Web Services और Microsoft Azure AI सेवाओं में उपयोग शामिल है, जहाँ वे क्लाउड प्लेटफ़ॉर्म में जनरेटिव सुविधाओं को शक्ति प्रदान करते हैं।
ऑटोरेग्रेसिव मॉडल के साथ तुलना
पारंपरिक ऑटोरेग्रेसिव मॉडल, जैसे कि GPT-शैली के ट्रांसफॉर्मर, एक निश्चित क्रम में टोकन-दर-टोकन डेटा उत्पन्न करते हैं, जो सरल लेकिन अनुक्रमिक है। इसके विपरीत, असतत प्रसार मॉडल सभी टोकन को एक साथ उत्पन्न कर सकते हैं, जो AWS Trainium या Groq त्वरक जैसे समानांतर हार्डवेयर पर संभावित गति प्रदान करते हैं। हालाँकि, उन्हें अक्सर अधिक परिष्कृत प्रशिक्षण उद्देश्यों की आवश्यकता होती है और कुछ कार्यों पर थोड़ी कम गुणवत्ता वाले नमूने उत्पन्न कर सकते हैं। हाल के शोध ने इस अंतर को कम किया है, प्रसार भाषा मॉडल GLUE और SuperGLUE जैसे बेंचमार्क पर लगभग समानता प्राप्त कर रहे हैं।
एक और अंतर नियंत्रणीयता में है। प्रसार मॉडल उलटी प्रक्रिया के दौरान लचीली कंडीशनिंग की अनुमति देते हैं, जिससे पुनर्प्रशिक्षण के बिना इन्फिलिंग या निर्देशित निर्माण जैसे कार्य संभव होते हैं। यह उन्हें कोड पूर्णता या संवादी AI जैसे इंटरैक्टिव अनुप्रयोगों के लिए आकर्षक बनाता है।
चुनौतियाँ और भविष्य की दिशाएँ
अपने वादे के बावजूद, असतत प्रसार मॉडल चुनौतियों का सामना करते हैं। कई उलटे चरणों की आवश्यकता के कारण प्रशिक्षण कम्प्यूटेशनल रूप से गहन हो सकता है, हालाँकि प्रगतिशील आसवन जैसी हाल की विधियाँ इस लागत को कम करती हैं। लंबे अनुक्रमों के साथ नमूनाकरण गुणवत्ता घट सकती है, और परिवर्तनीय-लंबाई आउटपुट को संभालना एक खुली समस्या बनी हुई है। शोधकर्ता संकर दृष्टिकोण भी खोज रहे हैं जो मानव प्राथमिकताओं के साथ आउटपुट को संरेखित करने के लिए असतत प्रसार को RLHF के साथ जोड़ते हैं।
भविष्य की दिशाओं में असतत प्रसार मॉडल को ट्रिलियन-पैरामीटर आकारों तक स्केल करना, उन्हें पुनर्प्राप्ति तंत्र के साथ एकीकृत करना, और अधिक कुशल संक्रमण मैट्रिक्स विकसित करना शामिल है। 2025 तक, असतत प्रसार अनुसंधान का एक सक्रिय क्षेत्र बना हुआ है, जिसमें स्टैनफोर्ड AI लैब और MIT CSAIL जैसी शैक्षणिक प्रयोगशालाओं के साथ-साथ Anthropic और Meta में उद्योग टीमों का योगदान है। यह दृष्टिकोण जनरेटिव AI के व्यापक परिदृश्य में ऑटोरेग्रेसिव मॉडल को प्रतिस्थापित करने के बजाय पूरक बनाने की उम्मीद है।