ComfyUI एक ओपन-सोर्स, नोड-आधारित प्रोग्राम है जो उपयोगकर्ताओं को टेक्स्ट प्रॉम्प्ट की एक श्रृंखला से छवियाँ उत्पन्न करने की अनुमति देता है। यह अपनी छवि क्षमताओं के लिए आधार मॉडल के रूप में Stable Diffusion जैसे मुफ्त डिफ्यूज़न मॉडल का उपयोग करता है, साथ ही ControlNet और LCM लो-रैंक अनुकूलन जैसे अन्य उपकरणों के साथ संयुक्त रूप से, प्रत्येक उपकरण को प्रोग्राम में एक नोड द्वारा दर्शाया जाता है। सॉफ्टवेयर को जटिल छवि निर्माण पाइपलाइनों के निर्माण के लिए एक लचीला, दृश्य इंटरफ़ेस प्रदान करने के लिए डिज़ाइन किया गया है, और यह Automatic1111 के साथ-साथ स्टेबल डिफ्यूज़न के लिए सबसे लोकप्रिय उपयोगकर्ता इंटरफ़ेस में से एक बन गया है।
ComfyUI जनवरी 2023 में GitHub पर जारी किया गया था। निर्माता comfyanonymous के अनुसार, परियोजना का एक प्रमुख लक्ष्य उपयोगकर्ता इंटरफ़ेस के संदर्भ में मौजूदा सॉफ्टवेयर डिज़ाइनों में सुधार करना था। निर्माता Stability AI से जुड़े थे, लेकिन 3 जून 2024 तक वह जुड़ाव समाप्त हो गया था, और मुख्य डेवलपर्स के साथ Comfy Org नामक एक संगठन बनाया गया था। जुलाई 2024 में, NVIDIA ने अपने RTX Remix मॉडिंग सॉफ्टवेयर के भीतर ComfyUI के लिए समर्थन की घोषणा की। अगस्त 2024 में, Black Forest Labs द्वारा विकसित FLUX डिफ्यूज़न मॉडल के लिए समर्थन जोड़ा गया, और Comfy Org लिनक्स फाउंडेशन द्वारा बनाई गई ओपन मॉडल इनिशिएटिव में शामिल हो गया। जुलाई 2026 तक, परियोजना के GitHub पर 122k स्टार हैं।
विशेषताएँ
ComfyUI की मुख्य विशेषता यह है कि यह नोड-आधारित है। प्रत्येक नोड का एक कार्य होता है जैसे "मॉडल लोडर" या "CLIP टेक्स्ट एनकोड"। नोड्स एक नियंत्रण-प्रवाह ग्राफ बनाने के लिए जुड़े होते हैं जिसे वर्कफ़्लो कहा जाता है। जब एक प्रॉम्प्ट कतार में होता है, तो वर्तमान में निष्पादित नोड के चारों ओर एक हाइलाइटेड फ्रेम दिखाई देता है, जो "चेकपॉइंट लोड" से शुरू होकर अंतिम छवि और उसके सहेजने के स्थान पर समाप्त होता है। वर्कफ़्लो में आमतौर पर दर्जनों नोड्स होते हैं, जो एक जटिल निर्देशित अचक्रीय ग्राफ बनाते हैं। नोड प्रकारों में मॉडल लोड करना, प्रॉम्प्ट निर्दिष्ट करना, सैम्पलर, शेड्यूलर, VAE डिकोडर, चेहरा बहाली और अपस्केलिंग मॉडल, LoRA, एम्बेडिंग और ControlNets शामिल हैं।
कई सैम्पलर समर्थित हैं, जैसे Euler, Euler_a, dpmpp_2m_sde और dpmpp_3m_sde। वर्कफ़्लो को एक फ़ाइल में सहेजा जा सकता है, जिससे उपयोगकर्ता नोड वर्कफ़्लो का पुन: उपयोग कर सकते हैं और उन्हें अन्य उपयोगकर्ताओं के साथ साझा कर सकते हैं। वर्कफ़्लो के लिए फ़ाइल प्रारूप JSON में है और इसे उत्पन्न छवियों में एम्बेड किया जा सकता है। उपयोगकर्ताओं ने आधार प्रणाली के लिए कस्टम एक्सटेंशन भी बनाए हैं जो नए नोड्स के रूप में उजागर होते हैं, जैसे AnimateDiff के लिए एक्सटेंशन, जिसका उद्देश्य वीडियो बनाना है। ComfyUI को Automatic1111 जैसे अन्य डिफ्यूज़न UI की तुलना में अधिक जटिल बताया गया है। प्रोग्राम के साथ एक डिफ़ॉल्ट नोड समूह भी शामिल है।
दिसंबर 2024 तक, 1,674 नोड्स समर्थित थे। ComfyUI स्टेबल डिफ्यूज़न, फ्लक्स और टेनसेंट के Hunyuan-DiT सहित कई टेक्स्ट-से-छवि मॉडलों का समर्थन करता है, साथ ही Civitai से पोनी जैसे कस्टम मॉडल भी।
AI छवि निर्माण में भूमिका
ComfyUI Generative AI पारिस्थितिकी तंत्र में डिफ्यूज़न मॉडल बनाने और चलाने के लिए एक उपकरण के रूप में एक महत्वपूर्ण स्थान रखता है। अंतर्निहित पाइपलाइन को सरल बनाने वाले सरल इंटरफेस के विपरीत, ComfyUI पूरी प्रक्रिया को एक दृश्य ग्राफ के रूप में उजागर करता है, जिससे उपयोगकर्ताओं को मॉडल लोडिंग से लेकर अंतिम आउटपुट तक प्रत्येक चरण पर सूक्ष्म नियंत्रण मिलता है। यह इसे शोधकर्ताओं, डेवलपर्स और उन्नत उपयोगकर्ताओं के लिए विशेष रूप से मूल्यवान बनाता है जिन्हें विभिन्न मॉडल कॉन्फ़िगरेशन, सैम्पलर और ControlNet या LoRA जैसे सहायक उपकरणों के साथ प्रयोग करने की आवश्यकता होती है।
नोड-आधारित वास्तुकला Machine learning में मॉड्यूलर और पुन: प्रयोज्य घटकों की ओर व्यापक प्रवृत्ति के साथ संरेखित होती है। प्रत्येक ऑपरेशन को एक नोड के रूप में प्रस्तुत करके, ComfyUI कोड लिखे बिना नए वर्कफ़्लो के तेज़ प्रोटोटाइपिंग को सक्षम बनाता है, जिसने शैक्षणिक और शौकिया दोनों समुदायों में इसके अपनाने में योगदान दिया है। Black Forest Labs और tencent सहित मॉडलों की एक विस्तृत श्रृंखला के लिए इसका समर्थन, AI-संचालित रचनात्मकता के लिए एक बहुमुखी मंच के रूप में इसकी भूमिका को और मजबूत करता है।
सुरक्षा घटना: LLMVision एक्सटेंशन समझौता
जून 2024 में, "Nullbulge" नामक एक हैकर समूह ने ComfyUI के एक एक्सटेंशन से समझौता किया और उसमें दुर्भावनापूर्ण कोड जोड़ा। समझौता किया गया एक्सटेंशन, जिसे ComfyUI_LLMVISION कहा जाता है, इंटरफ़ेस को AI भाषा मॉडल GPT-4 और क्लाउड 3 के साथ एकीकृत करने के लिए उपयोग किया जाता था, और GitHub पर होस्ट किया गया था। Nullbulge ने अपनी वेबसाइट पर कई सेवाओं में सैकड़ों ComfyUI उपयोगकर्ताओं के लॉगिन विवरण की एक सूची होस्ट की, जबकि एक्सटेंशन के उपयोगकर्ताओं ने कई लॉगिन सूचनाएं प्राप्त करने की सूचना दी। vpnMentor ने एक्सटेंशन पर सुरक्षा शोध किया और दावा किया कि यह "क्रिप्टो वॉलेट चुरा सकता है, उपयोगकर्ता की स्क्रीन का स्क्रीनशॉट ले सकता है, डिवाइस की जानकारी और IP पते उजागर कर सकता है, और कुछ कीवर्ड या एक्सटेंशन वाली फ़ाइलें चुरा सकता है"।
Nullbulge की वेबसाइट का दावा है कि उन्होंने उन उपयोगकर्ताओं को लक्षित किया जिन्होंने "हमारे पापों में से एक" किया, जिसमें AI-कला निर्माण, कला चोरी, क्रिप्टोकरेंसी को बढ़ावा देना और Patreon जैसे कलाकारों से किसी भी प्रकार की चोरी शामिल थी। उन्होंने दावा किया कि वे "ऐसे व्यक्तियों का एक समूह हैं जो कलाकारों के अधिकारों की रक्षा और उनके काम के लिए उचित मुआवजा सुनिश्चित करने के महत्व में विश्वास करते हैं" और वे मानते हैं कि "AI-जनित कलाकृति रचनात्मक उद्योग के लिए हानिकारक है और इसे हतोत्साहित किया जाना चाहिए"।
प्रभाव और समुदाय
ComfyUI की ओपन-सोर्स प्रकृति और सक्रिय विकास ने उपयोगकर्ताओं और योगदानकर्ताओं का एक बड़ा समुदाय विकसित किया है। परियोजना का GitHub रिपॉजिटरी वर्कफ़्लो, कस्टम नोड्स और एक्सटेंशन साझा करने के लिए एक केंद्र के रूप में कार्य करता है, जिसने नई तकनीकों और मॉडलों के प्रसार को तेज किया है। Civitai जैसे प्लेटफार्मों के साथ एकीकरण उपयोगकर्ताओं को आसानी से कस्टम मॉडल आयात करने की अनुमति देता है, जिससे उपकरण की क्षमताओं का और विस्तार होता है।
सॉफ्टवेयर की लोकप्रियता GitHub पर इसकी उच्च स्टार संख्या में परिलक्षित होती है, जो मजबूत समुदाय रुचि और अनुमोदन का संकेत देती है। व्यापक AI परिदृश्य में इसकी भूमिका उल्लेखनीय है क्योंकि यह उन्नत छवि निर्माण तकनीकों तक पहुंच को लोकतांत्रिक बनाता है, जिससे व्यक्तियों और छोटी टीमों को व्यापक प्रोग्रामिंग विशेषज्ञता की आवश्यकता के बिना अत्याधुनिक मॉडल का लाभ उठाने में सक्षम बनाता है। 2026 तक, ComfyUI विकसित होता रहता है, नए मॉडल और सुविधाओं के लिए निरंतर समर्थन के साथ, AI कला और शोध समुदायों में एक प्रमुख उपकरण के रूप में अपनी स्थिति बनाए रखता है।