ComfyUI ist ein quelloffenes, knotenbasiertes Programm, das es Benutzern ermöglicht, Bilder aus einer Reihe von Textaufforderungen zu erzeugen. Es verwendet freie Diffusionsmodelle wie Stable Diffusion als Basismodell für seine Bildfunktionen, kombiniert mit anderen Werkzeugen wie ControlNet und LCM-Low-Rank-Adaption, wobei jedes Werkzeug durch einen Knoten im Programm dargestellt wird. Die Software ist darauf ausgelegt, eine flexible, visuelle Schnittstelle für die Konstruktion komplexer Bildgenerierungspipelines bereitzustellen, und sie ist neben Automatic1111 zu einer der beliebtesten Benutzeroberflächen für Stable Diffusion geworden.
ComfyUI wurde im Januar 2023 auf GitHub veröffentlicht. Laut comfyanonymous, dem Ersteller, war ein Hauptziel des Projekts, bestehende Softwaredesigns in Bezug auf die Benutzeroberfläche zu verbessern. Der Ersteller war bei Stability AI tätig, aber bis zum 3. Juni 2024 endete diese Beteiligung, und eine Organisation namens Comfy Org wurde zusammen mit den Kernentwicklern gegründet. Im Juli 2024 kündigte NVIDIA Unterstützung für ComfyUI in seiner RTX-Remix-Modding-Software an. Im August 2024 wurde Unterstützung für das von Black Forest Labs entwickelte Flux-Diffusionsmodell hinzugefügt, und Comfy Org trat der von der Linux Foundation ins Leben gerufenen Open Model Initiative bei. Stand Juli 2026 hat das Projekt 122.000 Sterne auf GitHub.
Funktionen
Das Hauptmerkmal von ComfyUI ist, dass es knotenbasiert ist. Jeder Knoten hat eine Funktion wie „Modelllader“ oder „CLIP-Textkodierung“. Die Knoten werden verbunden, um einen Kontrollflussgraphen zu bilden, der als Workflow bezeichnet wird. Wenn eine Aufforderung in die Warteschlange gestellt wird, erscheint ein hervorgehobener Rahmen um den aktuell ausgeführten Knoten, beginnend mit „Checkpoint laden“ und endend mit dem endgültigen Bild und seinem Speicherort. Workflows bestehen üblicherweise aus Dutzenden von Knoten und bilden einen komplexen gerichteten azyklischen Graphen. Zu den Knotentypen gehören das Laden eines Modells, das Festlegen von Aufforderungen, Sampler, Scheduler, VAE-Decoder, Gesichtsrestaurierung und Hochskalierungsmodelle, LoRAs, Einbettungen und ControlNets.
Mehrere Sampler werden unterstützt, wie Euler, Euler_a, dpmpp_2m_sde und dpmpp_3m_sde. Workflows können in einer Datei gespeichert werden, sodass Benutzer Knoten-Workflows wiederverwenden und mit anderen Benutzern teilen können. Das Dateiformat für die Workflows ist JSON und kann in die generierten Bilder eingebettet werden. Benutzer haben auch benutzerdefinierte Erweiterungen des Basissystems erstellt, die als neue Knoten verfügbar gemacht werden, wie die Erweiterung für AnimateDiff, die darauf abzielt, Videos zu erstellen. ComfyUI wurde als komplexer im Vergleich zu anderen Diffusions-Benutzeroberflächen wie Automatic1111 beschrieben. Eine Standard-Knotengruppe ist ebenfalls im Programm enthalten.
Stand Dezember 2024 wurden 1.674 Knoten unterstützt. ComfyUI unterstützt mehrere Text-zu-Bild-Modelle, darunter Stable Diffusion, Flux und Tencent's Hunyuan-DiT sowie benutzerdefinierte Modelle von Civitai wie Pony.
Rolle in der KI-Bildgenerierung
ComfyUI nimmt eine bedeutende Position im generativen KI-Ökosystem als Werkzeug zum Erstellen und Ausführen von Diffusionsmodellen ein. Im Gegensatz zu einfacheren Schnittstellen, die die zugrunde liegende Pipeline abstrahieren, legt ComfyUI den gesamten Prozess als visuellen Graphen offen und gibt Benutzern granulare Kontrolle über jeden Schritt vom Laden des Modells bis zur endgültigen Ausgabe. Dies macht es besonders wertvoll für Forscher, Entwickler und fortgeschrittene Benutzer, die mit verschiedenen Modellkonfigurationen, Samplern und Hilfswerkzeugen wie ControlNet oder LoRAs experimentieren müssen.
Die knotenbasierte Architektur steht im Einklang mit dem breiteren Trend im maschinellen Lernen hin zu modularen und wiederverwendbaren Komponenten. Indem jede Operation als Knoten dargestellt wird, ermöglicht ComfyUI das schnelle Prototyping neuer Workflows ohne Code zu schreiben, was zu seiner Annahme in akademischen und Hobby-Gemeinschaften beigetragen hat. Seine Unterstützung für eine breite Palette von Modellen, einschließlich derer von Black Forest Labs und Tencent, festigt weiter seine Rolle als vielseitige Plattform für KI-gesteuerte Kreativität.
Sicherheitsvorfall: Kompromittierung der LLMVision-Erweiterung
Im Juni 2024 kompromittierte eine Hackergruppe namens „Nullbulge“ eine Erweiterung von ComfyUI, um bösartigen Code hinzuzufügen. Die kompromittierte Erweiterung, genannt ComfyUI_LLMVISION, wurde verwendet, um die Schnittstelle mit KI-Sprachmodellen GPT-4 und Claude 3 zu integrieren, und war auf GitHub gehostet. Nullbulge veröffentlichte auf seiner Website eine Liste mit Anmeldedaten von Hunderten von ComfyUI-Benutzern für verschiedene Dienste, während Benutzer der Erweiterung über zahlreiche Anmeldebenachrichtigungen berichteten. vpnMentor führte Sicherheitsforschung an der Erweiterung durch und behauptete, sie könne „Krypto-Wallets stehlen, den Bildschirm des Benutzers aufnehmen, Geräteinformationen und IP-Adressen offenlegen und Dateien stehlen, die bestimmte Schlüsselwörter oder Erweiterungen enthalten“.
Nullbulges Website behauptet, sie hätten Benutzer ins Visier genommen, die „eine unserer Sünden“ begangen hätten, darunter KI-Kunstgenerierung, Kunstdiebstahl, Förderung von Kryptowährungen und jede andere Art von Diebstahl von Künstlern, wie etwa von Patreon. Sie behaupteten, sie seien „ein Kollektiv von Individuen, die an die Bedeutung des Schutzes der Rechte von Künstlern und die Sicherstellung fairer Vergütung für ihre Arbeit glauben“ und dass sie glaubten, dass „KI-generierte Kunstwerke schädlich für die Kreativbranche sind und entmutigt werden sollten“.
Auswirkungen und Gemeinschaft
ComfyUIs quelloffene Natur und aktive Entwicklung haben eine große Gemeinschaft von Benutzern und Mitwirkenden gefördert. Das GitHub-Repository des Projekts dient als Drehscheibe zum Teilen von Workflows, benutzerdefinierten Knoten und Erweiterungen, was die Verbreitung neuer Techniken und Modelle beschleunigt hat. Die Integration mit Plattformen wie Civitai ermöglicht es Benutzern, benutzerdefinierte Modelle einfach zu importieren und erweitert so die Fähigkeiten des Werkzeugs weiter.
Die Beliebtheit der Software spiegelt sich in ihrer hohen Sternenzahl auf GitHub wider, was auf starkes Gemeinschaftsinteresse und Zustimmung hinweist. Ihre Rolle in der breiteren KI-Landschaft ist bemerkenswert, da sie den Zugang zu fortgeschrittenen Bildgenerierungstechniken demokratisiert und Einzelpersonen und kleinen Teams ermöglicht, modernste Modelle ohne umfangreiche Programmierkenntnisse zu nutzen. Stand 2026 entwickelt sich ComfyUI weiter, mit fortlaufender Unterstützung für neue Modelle und Funktionen, und behält seinen Status als Schlüsselwerkzeug in den KI-Kunst- und Forschungsgemeinschaften.