स्टेबल डिफ्यूज़न 2.0 एक डीप लर्निंग, टेक्स्ट-टू-इमेज मॉडल है जिसे 2022 में स्टेबिलिटी एआई द्वारा जारी किया गया था, जो डिफ्यूज़न तकनीकों पर आधारित है। यह जनरेटिव एआई में चल रहे एआई-बूम का हिस्सा है और मुख्य रूप से टेक्स्ट विवरणों द्वारा निर्धारित विस्तृत छवियों को उत्पन्न करने के लिए उपयोग किया जाता है, हालांकि यह इनपेंटिंग, आउटपेंटिंग, और टेक्स्ट प्रॉम्प्ट द्वारा निर्देशित इमेज-टू-इमेज अनुवाद जैसे कार्यों को भी संभाल सकता है। यह मॉडल एक लेटेंट डिफ्यूज़न मॉडल है, एक प्रकार का डीप जनरेटिव कृत्रिम तंत्रिका नेटवर्क, और इसके कोड और मॉडल वेट सार्वजनिक रूप से जारी किए गए थे, जिससे यह अधिकांश उपभोक्ता हार्डवेयर पर केवल 2.4 जीबी वीआरएएम के मामूली जीपीयू के साथ चल सकता है। यह पिछले मालिकाना टेक्स्ट-टू-इमेज मॉडल जैसे DALL-E और मिडजर्नी से एक अलग दृष्टिकोण था, जो केवल क्लाउड सेवाओं के माध्यम से सुलभ थे।
स्टेबल डिफ्यूज़न के विकास में एलएमयू म्यूनिख में कॉम्पविज़ समूह और रनवे के शोधकर्ता शामिल थे, जिसमें स्टेबिलिटी एआई से कम्प्यूटेशनल दान और गैर-लाभकारी संगठनों से प्रशिक्षण डेटा शामिल था। यह मॉडल उन्नत जनरेटिव एआई को व्यापक दर्शकों के लिए सुलभ बनाने में एक महत्वपूर्ण कदम का प्रतिनिधित्व करता है, क्योंकि इसे क्लाउड-आधारित पहुंच की आवश्यकता के बजाय स्थानीय रूप से चलाया जा सकता है।
विकास इतिहास
स्टेबल डिफ्यूज़न एक परियोजना से उत्पन्न हुआ जिसे लेटेंट डिफ्यूज़न कहा जाता है, जिसे जर्मनी में एलएमयू म्यूनिख और हीडलबर्ग विश्वविद्यालय के शोधकर्ताओं द्वारा विकसित किया गया था। मूल पांच लेखकों में से चार - रॉबिन रोम्बैक, एंड्रियास ब्लैटमैन, पैट्रिक एस्सेर, और डोमिनिक लोरेंज - बाद में स्टेबिलिटी एआई में शामिल हो गए और मॉडल के बाद के संस्करण जारी किए। मॉडल के लिए तकनीकी लाइसेंस एलएमयू म्यूनिख में कॉम्पविज़ समूह द्वारा जारी किया गया था। विकास का नेतृत्व रनवे के पैट्रिक एस्सेर और कॉम्पविज़ के रॉबिन रोम्बैक ने किया था, जो उन शोधकर्ताओं में से थे जिन्होंने पहले स्टेबल डिफ्यूज़न द्वारा उपयोग किए गए लेटेंट डिफ्यूज़न मॉडल आर्किटेक्चर का आविष्कार किया था। स्टेबिलिटी एआई ने एलुथेरएआई और LAION को भी श्रेय दिया, जो एक जर्मन गैर-लाभकारी संगठन है जिसने उस डेटासेट को इकट्ठा किया जिस पर मॉडल को प्रशिक्षित किया गया था, परियोजना के समर्थकों के रूप में।
स्टेबल डिफ्यूज़न 2.0 की रिलीज़ अगस्त 2022 में स्टेबल डिफ्यूज़न की प्रारंभिक सार्वजनिक रिलीज़ के बाद हुई, जिसने पहले ही टेक्स्ट प्रॉम्प्ट से उच्च-गुणवत्ता वाली छवियों को उत्पन्न करने की क्षमता के लिए महत्वपूर्ण ध्यान आकर्षित किया था। 2.0 संस्करण ने आर्किटेक्चर और प्रशिक्षण प्रक्रिया में कई सुधार और परिशोधन पेश किए।
प्रौद्योगिकी
आर्किटेक्चर
डिफ्यूज़न मॉडल, 2015 में पेश किए गए, प्रशिक्षण छवियों पर गाऊसी शोर के क्रमिक अनुप्रयोगों को हटाने के उद्देश्य से प्रशिक्षित किए जाते हैं, जिसे डीनॉइज़िंग ऑटोएनकोडर के अनुक्रम के रूप में सोचा जा सकता है। "डिफ्यूज़न" नाम थर्मोडायनामिक डिफ्यूज़न से आता है, क्योंकि मॉडल पहली बार थर्मोडायनामिक्स से प्रेरणा लेकर विकसित किए गए थे। एसडी 3 से पहले स्टेबल डिफ्यूज़न श्रृंखला के मॉडल सभी ने डिफ्यूज़न मॉडल के एक प्रकार का उपयोग किया जिसे लेटेंट डिफ्यूज़न मॉडल (एलडीएम) कहा जाता है, जिसे 2021 में एलएमयू म्यूनिख में कॉम्पविज़ समूह द्वारा विकसित किया गया था।
स्टेबल डिफ्यूज़न में तीन भाग होते हैं: वैरिएशनल ऑटोएनकोडर (वीएई), एक यू-नेट, और एक वैकल्पिक टेक्स्ट एनकोडर। वीएई एनकोडर छवि को पिक्सेल स्पेस से छोटे आयामी लेटेंट स्पेस में संपीड़ित करता है, जो छवि के अधिक मौलिक अर्थपूर्ण अर्थ को पकड़ता है। फॉरवर्ड डिफ्यूज़न के दौरान संपीड़ित लेटेंट प्रतिनिधित्व पर गाऊसी शोर को पुनरावृत्त रूप से लागू किया जाता है। यू-नेट ब्लॉक, जो एक ResNet बैकबोन से बना है, फॉरवर्ड डिफ्यूज़न से आउटपुट को पीछे की ओर डीनॉइज़ करके एक लेटेंट प्रतिनिधित्व प्राप्त करता है। अंत में, वीएई डिकोडर प्रतिनिधित्व को वापस पिक्सेल स्पेस में परिवर्तित करके अंतिम छवि उत्पन्न करता है।
डीनॉइज़िंग चरण को टेक्स्ट की एक स्ट्रिंग, एक छवि, या किसी अन्य मोडैलिटी पर लचीले ढंग से सशर्त किया जा सकता है। एन्कोडेड कंडीशनिंग डेटा को क्रॉस-अटेंशन तंत्र के माध्यम से डीनॉइज़िंग यू-नेट्स के संपर्क में लाया जाता है। टेक्स्ट पर कंडीशनिंग के लिए, निश्चित, पूर्व-प्रशिक्षित CLIP ViT-L/14 टेक्स्ट एनकोडर का उपयोग टेक्स्ट प्रॉम्प्ट को एम्बेडिंग स्पेस में बदलने के लिए किया जाता है। शोधकर्ता प्रशिक्षण और उत्पादन के लिए बढ़ी हुई कम्प्यूटेशनल दक्षता को एलडीएम के लाभ के रूप में इंगित करते हैं।
यू-नेट में 860 मिलियन पैरामीटर और टेक्स्ट एनकोडर में 123 मिलियन पैरामीटर के साथ, स्टेबल डिफ्यूज़न को 2022 के मानकों द्वारा अपेक्षाकृत हल्का माना जाता है। अन्य डिफ्यूज़न मॉडल के विपरीत, यह उपभोक्ता जीपीयू पर चल सकता है, और यहां तक कि केवल सीपीयू पर भी यदि स्टेबल डिफ्यूज़न का ओपनवीआईएनओ संस्करण उपयोग किया जाता है।
प्रशिक्षण डेटा
स्टेबल डिफ्यूज़न को LAION-5B से लिए गए छवियों और कैप्शन के जोड़े पर प्रशिक्षित किया गया था, जो वेब से स्क्रैप किए गए कॉमन क्रॉल डेटा से प्राप्त एक सार्वजनिक रूप से उपलब्ध डेटासेट है। डेटासेट में 5 बिलियन छवि-टेक्स्ट जोड़े शामिल हैं जिन्हें भाषा के आधार पर वर्गीकृत किया गया था और रिज़ॉल्यूशन, वॉटरमार्क शामिल होने की अनुमानित संभावना, और अनुमानित "सौंदर्य" स्कोर (जैसे, व्यक्तिपरक दृश्य गुणवत्ता) द्वारा अलग-अलग डेटासेट में फ़िल्टर किया गया था। डेटासेट LAION द्वारा बनाया गया था, एक जर्मन गैर-लाभकारी संगठन जो स्टेबिलिटी एआई से धन प्राप्त करता है।
स्टेबल डिफ्यूज़न मॉडल को LAION-5B के तीन उपसमुच्चयों पर प्रशिक्षित किया गया था: laion2B-en, laion-high-resolution, और laion-aesthetics v2 5+। मॉडल के प्रशिक्षण डेटा के एक तृतीय-पक्ष विश्लेषण ने पहचाना कि मूल व्यापक डेटासेट से लिए गए 12 मिलियन छवियों के छोटे उपसमुच्चय में से, छवियों के नमूना आकार का लगभग 47% 100 विभिन्न डोमेन से आया था, जिसमें Pinterest उपसमुच्चय का 8.5% ले रहा था, उसके बाद WordPress, Blogspot, Flickr, DeviantArt, और Wikimedia Commons जैसी वेबसाइटें थीं। बायरिशर रुंडफंक द्वारा एक जांच से पता चला कि हगिंग फेस पर होस्ट किए गए LAION के डेटासेट में बड़ी मात्रा में निजी और संवेदनशील डेटा शामिल है।
प्रशिक्षण प्रक्रियाएं
मॉडल को शुरू में laion2B-en और laion-high-resolution उपसमुच्चय पर प्रशिक्षित किया गया था, जिसमें प्रशिक्षण के अंतिम कुछ दौर LAION-Aesthetics v2 5+ पर किए गए थे, जो 600 मिलियन कैप्शन वाली छवियों का एक उपसमुच्चय है जिसे LAION-Aesthetics पूर्वानुमानक V2 ने भविष्यवाणी की थी कि मनुष्य औसतन, जब पूछा जाए कि वे उन्हें कितना पसंद करते हैं, तो 10 में से कम से कम 5 का स्कोर देंगे। LAION-Aesthetics v2 5+ उपसमुच्चय ने कम-रिज़ॉल्यूशन वाली छवियों और उन छवियों को भी बाहर रखा जिन्हें LAION-5B-वॉटरमार्कडिटेक्शन ने 80% से अधिक संभावना के साथ वॉटरमार्क ले जाने के रूप में पहचाना। प्रशिक्षण के अंतिम दौर में क्लासिफायर-फ्री डिफ्यूज़न गाइडेंस में सुधार के लिए 10% टेक्स्ट कंडीशनिंग को भी हटा दिया गया।
मॉडल को अमेज़न वेब सेवाओं पर 256 नवीडिया A100 जीपीयू का उपयोग करके कुल 150,000 जीपीयू-घंटे के लिए प्रशिक्षित किया गया था, जिसकी लागत $600,000 थी।
संस्करण 2.0 में सुधार
स्टेबल डिफ्यूज़न 2.0 ने मूल रिलीज़ पर कई प्रमुख सुधार पेश किए। मॉडल में एक नया टेक्स्ट एनकोडर शामिल किया गया, जिसमें एक बड़ा CLIP मॉडल उपयोग किया गया जिसने टेक्स्ट प्रॉम्प्ट और उत्पन्न छवियों के बीच संरेखण में सुधार किया। प्रशिक्षण डेटा को भी परिष्कृत किया गया, जिसमें उच्च-रिज़ॉल्यूशन और सौंदर्यपूर्ण रूप से सुखद छवियों पर अधिक जोर दिया गया, जिससे कलाकृतियों की घटना को कम करने और समग्र छवि गुणवत्ता में सुधार करने में मदद मिली।
इसके अतिरिक्त, 2.0 संस्करण में गैर-वर्गाकार पहलू अनुपातों के लिए बेहतर समर्थन शामिल था, जिससे उपयोगकर्ताओं को विभिन्न प्रकार के प्रारूपों में छवियों को उत्पन्न करने की अनुमति मिली। मॉडल ने इनपेंटिंग और आउटपेंटिंग जैसे कार्यों पर भी बेहतर प्रदर्शन दिखाया, जहां छवि के कुछ हिस्सों को आसपास के संदर्भ के आधार पर भरा या विस्तारित किया जाता है।
सीमाएं
स्टेबल डिफ्यूज़न में कुछ परिदृश्यों में गिरावट और कलाकृतियों के साथ समस्याएं हैं। मॉडल जटिल दृश्यों के सटीक प्रतिनिधित्व उत्पन्न करने में संघर्ष कर सकता है, विशेष रूप से कई वस्तुओं या जटिल विवरणों से जुड़े लोगों के साथ। यह पक्षपाती या अनुचित सामग्री भी उत्पन्न कर सकता है, जो प्रशिक्षण डेटा में मौजूद पूर्वाग्रहों को दर्शाता है। CLIP टेक्स्ट एनकोडर पर मॉडल की निर्भरता का मतलब है कि भाषा की इसकी समझ उस तक सीमित है जो CLIP ने सीखा है, जो कुछ प्रॉम्प्ट की गलत व्याख्या कर सकता है।
इसके अलावा, वेब से प्राप्त प्रशिक्षण डेटा में सामग्री की एक विस्तृत श्रृंखला शामिल है, जिनमें से कुछ निजी या संवेदनशील हो सकती है। इसने गोपनीयता और जनरेटिव मॉडल के प्रशिक्षण के लिए ऐसे डेटा का उपयोग करने के नैतिक निहितार्थों के बारे में चिंताएं उठाई हैं। प्रशिक्षण की कम्प्यूटेशनल लागत, कुछ विकल्पों की तुलना में कम होने के बावजूद, अभी भी महत्वपूर्ण संसाधनों की आवश्यकता होती है, और मॉडल का प्रदर्शन अनुमान के लिए उपयोग किए जाने वाले हार्डवेयर के आधार पर भिन्न हो सकता है।
प्रभाव और स्वागत
स्टेबल डिफ्यूज़न 2.0 की रिलीज़ व्यापक स्टेबल डिफ्यूज़न सार्वजनिक रिलीज़ का हिस्सा थी जिसने जनरेटिव एआई बूम में योगदान दिया। मॉडल की ओपन-सोर्स प्रकृति और उपभोक्ता हार्डवेयर पर चलने की क्षमता ने इसे व्यापक रूप से सुलभ बना दिया, जिससे रचनात्मक और वाणिज्यिक अनुप्रयोगों की एक लहर शुरू हुई। इसने क्षेत्र में बाद के विकास को भी प्रभावित किया, जिसमें अन्य ओपन-सोर्स मॉडल की रिलीज़ और विभिन्न उत्पादों में डिफ्यूज़न-आधारित तकनीकों का एकीकरण शामिल है।
मॉडल की पहुंच ने कॉपीराइट, कलात्मक स्वामित्व, और दुरुपयोग की संभावना के बारे में चर्चाएं भी उठाईं, जिससे जनरेटिव एआई प्रौद्योगिकियों के विनियमन के बारे में चल रही बहसें हुईं। इन चुनौतियों के बावजूद, स्टेबल डिफ्यूज़न 2.0 टेक्स्ट-टू-इमेज उत्पादन के विकास में एक महत्वपूर्ण मील का पत्थर बना हुआ है, जो उच्च-गुणवत्ता वाले जनरेटिव मॉडल की व्यवहार्यता प्रदर्शित करता है जो क्लाउड सेवाओं तक सीमित नहीं हैं।