अगस्त 2022 में, Stability AI ने सार्वजनिक रूप से Stable Diffusion जारी किया, जो डिफ्यूजन तकनीकों पर आधारित एक डीप लर्निंग टेक्स्ट-टू-इमेज मॉडल है। यह Stability AI का प्रमुख उत्पाद है और इसे चल रहे AI बूम का एक प्रमुख हिस्सा माना जाता है। Stable Diffusion मुख्य रूप से टेक्स्ट विवरणों से विस्तृत छवियां उत्पन्न करता है, लेकिन यह इनपेंटिंग, आउटपेंटिंग, और प्रॉम्प्ट द्वारा निर्देशित इमेज-टू-इमेज अनुवाद जैसे कार्यों का भी समर्थन करता है। इसके कोड और मॉडल वेट्स सार्वजनिक रूप से जारी किए गए, जिससे संस्करण अधिकांश उपभोक्ता हार्डवेयर पर केवल 2.4 GB VRAM के साथ चल सकते हैं - यह DALL-E और Midjourney जैसे स्वामित्व वाले मॉडलों से एक अलग दृष्टिकोण है, जो केवल क्लाउड सेवाओं के माध्यम से सुलभ थे।
विकास में LMU म्यूनिख में CompVis समूह और Runway के शोधकर्ता शामिल थे, जिसमें Stability AI से कम्प्यूटेशनल दान और गैर-लाभकारी संगठनों से प्रशिक्षण डेटा शामिल था। यह मॉडल एक लेटेंट डिफ्यूजन मॉडल (LDM) है, जो एक प्रकार का डीप जनरेटिव आर्टिफिशियल न्यूरल नेटवर्क है। इसकी वास्तुकला, प्रशिक्षण प्रक्रियाएं, और सांस्कृतिक प्रभाव का व्यापक रूप से अध्ययन किया गया है।
विकास
Stable Diffusion की उत्पत्ति लेटेंट डिफ्यूजन नामक एक परियोजना से हुई, जिसे जर्मनी में LMU म्यूनिख और हीडलबर्ग विश्वविद्यालय के शोधकर्ताओं द्वारा विकसित किया गया था। मूल पांच लेखकों में से चार - रॉबिन रोम्बैक, एंड्रियास ब्लैटमैन, पैट्रिक एसर, और डोमिनिक लोरेंज - बाद में Stability AI में शामिल हुए और बाद के संस्करण जारी किए। मॉडल का तकनीकी लाइसेंस LMU म्यूनिख में CompVis समूह द्वारा जारी किया गया था। विकास का नेतृत्व Runway के पैट्रिक एसर और CompVis के रॉबिन रोम्बैक ने किया, जो उन शोधकर्ताओं में से थे जिन्होंने पहले Stable Diffusion द्वारा उपयोग की जाने वाली लेटेंट डिफ्यूजन मॉडल वास्तुकला का आविष्कार किया था। Stability AI ने EleutherAI और LAION को भी समर्थकों के रूप में श्रेय दिया, जो एक जर्मन गैर-लाभकारी संगठन है जिसने उस डेटासेट को एकत्र किया जिस पर Stable Diffusion को प्रशिक्षित किया गया था।
तकनीक
वास्तुकला
डिफ्यूजन मॉडल, जो 2015 में पेश किए गए थे, प्रशिक्षण छवियों पर गॉसियन शोर के क्रमिक अनुप्रयोगों को हटाने के लिए प्रशिक्षित किए जाते हैं, जो डीनॉइज़िंग ऑटोएनकोडर का एक अनुक्रम है। डिफ्यूजन नाम थर्मोडायनामिक डिफ्यूजन से लिया गया है, क्योंकि यह तकनीक थर्मोडायनामिक्स से प्रेरित थी। SD 3 से पहले Stable Diffusion श्रृंखला के मॉडलों ने लेटेंट डिफ्यूजन नामक एक प्रकार का उपयोग किया, जिसे 2021 में LMU म्यूनिख में CompVis समूह द्वारा विकसित किया गया था।
Stable Diffusion तीन भागों से बना है: एक वैरिएशनल ऑटोएनकोडर (VAE), एक U-Net, और एक वैकल्पिक टेक्स्ट एनकोडर। VAE एनकोडर छवियों को पिक्सेल स्पेस से छोटे आयामी लेटेंट स्पेस में संपीड़ित करता है, जो मौलिक अर्थ संबंधी सार को पकड़ता है। फॉरवर्ड डिफ्यूजन के दौरान संपीड़ित लेटेंट प्रतिनिधित्व पर गॉसियन शोर को पुनरावृत्त रूप से लागू किया जाता है। U-Net, जो एक ResNet बैकबोन से बना है, आउटपुट को पीछे की ओर डीनॉइज़ करके एक लेटेंट प्रतिनिधित्व प्राप्त करता है। फिर VAE डिकोडर प्रतिनिधित्व को पिक्सेल स्पेस में वापस परिवर्तित करके अंतिम छवि उत्पन्न करता है।
डीनॉइज़िंग चरण को टेक्स्ट, एक छवि, या किसी अन्य मोडैलिटी पर कंडीशन किया जा सकता है। एन्कोडेड कंडीशनिंग डेटा को क्रॉस-अटेंशन तंत्र के माध्यम से डीनॉइज़िंग U-Nets को उजागर किया जाता है। टेक्स्ट कंडीशनिंग के लिए, एक निश्चित, पूर्व-प्रशिक्षित CLIP ViT-L/14 टेक्स्ट एनकोडर प्रॉम्प्ट को एक एम्बेडिंग स्पेस में बदल देता है। शोधकर्ता बढ़ी हुई कम्प्यूटेशनल दक्षता को LDM का लाभ बताते हैं। U-Net में 860 मिलियन पैरामीटर और टेक्स्ट एनकोडर में 123 मिलियन पैरामीटर के साथ, Stable Diffusion 2022 के मानकों से अपेक्षाकृत हल्का है और उपभोक्ता GPUs पर चल सकता है, या OpenVINO संस्करण का उपयोग करके केवल CPU पर भी चल सकता है।
#### SD XL
XL संस्करण पिछले संस्करणों के समान LDM वास्तुकला का उपयोग करता है लेकिन बड़ा है, जिसमें एक बड़ा U-Net बैकबोन, बड़ा क्रॉस-अटेंशन संदर्भ, एक के बजाय दो टेक्स्ट एनकोडर, और कई पहलू अनुपातों (केवल वर्गाकार नहीं) पर प्रशिक्षण शामिल है। SD XL Refiner, जो एक साथ जारी किया गया था, में समान वास्तुकला है लेकिन इसे टेक्स्ट-कंडीशनल img2img के माध्यम से मौजूदा छवियों में बारीक विवरण जोड़ने के लिए प्रशिक्षित किया गया था।
#### SD 3.0
3.0 संस्करण बैकबोन को पूरी तरह से बदल देता है, U-Net के बजाय एक रेक्टिफाइड फ्लो ट्रांसफॉर्मर का उपयोग करता है, जो ट्रांसफॉर्मर के साथ रेक्टिफाइड फ्लो विधि को लागू करता है। "मल्टीमॉडल डिफ्यूजन ट्रांसफॉर्मर" (MMDiT) नामक वास्तुकला में मूल टेक्स्ट एन्कोडिंग, रूपांतरित टेक्स्ट एन्कोडिंग, और लेटेंट स्पेस में छवि एन्कोडिंग के लिए तीन ट्रैक हैं। रूपांतरित टेक्स्ट और छवि एन्कोडिंग प्रत्येक ट्रांसफॉर्मर ब्लॉक के दौरान मिश्रित होते हैं। यह पिछले DiT संस्करणों से भिन्न है जहां टेक्स्ट एन्कोडिंग ने छवि एन्कोडिंग को प्रभावित किया लेकिन इसके विपरीत नहीं।
प्रशिक्षण डेटा
Stable Diffusion को LAION-5B से छवियों और कैप्शन के जोड़े पर प्रशिक्षित किया गया था, जो कॉमन क्रॉल डेटा से प्राप्त एक सार्वजनिक रूप से उपलब्ध डेटासेट है। 5 बिलियन इमेज-टेक्स्ट जोड़े को भाषा, रिज़ॉल्यूशन, अनुमानित वॉटरमार्क संभावना, और सौंदर्य स्कोर द्वारा फ़िल्टर किया गया था। डेटासेट LAION द्वारा बनाया गया था, जो Stability AI से वित्त पोषण प्राप्त करने वाला एक जर्मन गैर-लाभकारी संगठन है। मॉडल को तीन उपसमुच्चयों पर प्रशिक्षित किया गया था: laion2B-en, laion-high-resolution, और laion-aesthetics v2 5+। एक तृतीय-पक्ष विश्लेषण में पाया गया कि 12 मिलियन छवियों के छोटे उपसमुच्चय में से, लगभग 47% 100 डोमेन से आईं, जिसमें Pinterest 8.5% के साथ शीर्ष पर था, उसके बाद WordPress, Blogspot, Flickr, DeviantArt, और Wikimedia Commons थे। Bayerischer Rundfunk की एक जांच से पता चला कि LAION के डेटासेट में बड़ी मात्रा में निजी और संवेदनशील डेटा था।
प्रशिक्षण प्रक्रियाएं
मॉडल को शुरू में laion2B-en और laion-high-resolution पर प्रशिक्षित किया गया था, अंतिम चरणों के साथ LAION-Aesthetics v2 5+ पर, जो 600 मिलियन कैप्शन वाली छवियों का एक उपसमुच्चय है जिनके सौंदर्य गुणवत्ता पर कम से कम 5 में से 10 स्कोर करने का अनुमान लगाया गया था। इस उपसमुच्चय ने कम-रिज़ॉल्यूशन वाली छवियों और 80% से अधिक संभावना वाले पहचाने गए वॉटरमार्क वाली छवियों को बाहर रखा। अंतिम चरणों में क्लासिफायर-मुक्त डिफ्यूजन गाइडेंस में सुधार करने के लिए 10% टेक्स्ट कंडीशनिंग को हटा दिया गया। प्रशिक्षण में Amazon Web Services पर 256 Nvidia A100 GPUs का उपयोग 150,000 GPU-घंटे के लिए किया गया, जिसकी लागत $600,000 थी।
सीमाएं
Stable Diffusion में गिरावट की समस्याएं हैं, विशेष रूप से जटिल रचनाओं, हाथों, या टेक्स्ट को उत्पन्न करते समय। यह प्रशिक्षण डेटा से पूर्वाग्रह प्रदर्शित कर सकता है, और कलात्मक शैलियों को दोहराने की इसकी प्रवृत्ति ने कॉपीराइट चिंताओं को उठाया है। मॉडल की खुली प्रकृति ने गलत सूचना या गैर-सहमति वाली कल्पना उत्पन्न करने के लिए दुरुपयोग को भी सक्षम किया, जिससे सामग्री मॉडरेशन और नैतिक तैनाती पर चर्चा हुई।
रिलीज़ और उपलब्धता
22 अगस्त, 2022 को Stability AI के माध्यम से सार्वजनिक रिलीज़ ने मॉडल को ओपन वेट्स के रूप में उपलब्ध कराया। यह DALL-E और Midjourney के विपरीत था, जो बंद और केवल क्लाउड-आधारित थे। Stable Diffusion को डाउनलोड किया जा सकता था और स्थानीय रूप से चलाया जा सकता था, जिससे तेजी से अपनाना और फाइन-ट्यून किए गए संस्करणों का प्रसार हुआ। एक अनुकूलित संस्करण के लिए मामूली GPU विशिष्टताओं की आवश्यकता थी, केवल 2.4 GB VRAM के साथ, जिससे पहुंच व्यापक हुई।
प्रभाव
Stable Diffusion ने AI कला के साथ सार्वजनिक जुड़ाव को उत्प्रेरित किया, समुदायों और उपकरणों को जन्म दिया। इसने बाद के मॉडलों के विकास को प्रभावित किया और AI बूम में योगदान दिया। इसके ओपन वेट्स ने नवाचार को बढ़ावा दिया लेकिन डेटा उत्पत्ति और कॉपीराइट के बारे में कानूनी और नैतिक प्रश्न भी उठाए।
बाद के संस्करण
प्रारंभिक रिलीज़ के बाद, Stability AI ने SD 2.0, SD XL, और SD 3.0 सहित बेहतर संस्करण जारी किए। SD XL ने वास्तुकला संबंधी संवर्द्धन पेश किए, जबकि SD 3.0 ने ट्रांसफॉर्मर-आधारित बैकबोन अपनाया। इन संस्करणों ने सार्वजनिक रिलीज़ के पैटर्न को जारी रखा, हालांकि लाइसेंसिंग में बदलाव और व्यावसायिक उपयोग पर ध्यान केंद्रित किया गया है।
स्वागत और विवाद
Stable Diffusion को तकनीकी उपलब्धियों और पहुंच के लिए प्रशंसा मिली, लेकिन प्रशिक्षण डेटा मुद्दों, पूर्वाग्रह, और संभावित दुरुपयोग पर आलोचना का भी सामना करना पड़ा। कलाकारों और स्टॉक फोटो एजेंसियों से कानूनी चुनौतियां उभरीं, जो स्क्रैप की गई छवियों पर प्रशिक्षण की वैधता पर सवाल उठाती हैं। इन विवादों ने जनरेटिव AI नीति में चल रही बहसों को आकार दिया।