ComfyUI est un programme open-source basé sur des nœuds qui permet aux utilisateurs de générer des images à partir d'une série d'invites textuelles. Il utilise des modèles de diffusion gratuits tels que Stable Diffusion comme modèle de base pour ses capacités d'imagerie, combinés à d'autres outils comme ControlNet et l'adaptation de faible rang LCM, chaque outil étant représenté par un nœud dans le programme. Le logiciel est conçu pour fournir une interface visuelle flexible pour construire des pipelines complexes de génération d'images, et il est devenu l'une des interfaces utilisateur les plus populaires pour Stable Diffusion, aux côtés d'Automatic1111.
ComfyUI a été publié sur GitHub en janvier 2023. Selon comfyanonymous, le créateur, un objectif majeur du projet était d'améliorer les conceptions logicielles existantes en termes d'interface utilisateur. Le créateur avait été impliqué avec Stability AI, mais au 3 juin 2024, cette implication avait pris fin, et une organisation appelée Comfy Org avait été créée avec les développeurs principaux. En juillet 2024, NVIDIA a annoncé son soutien à ComfyUI dans son logiciel de modding RTX Remix. En août 2024, le support a été ajouté pour le modèle de diffusion Flux développé par Black Forest Labs, et Comfy Org a rejoint l'Open Model Initiative créée par la Linux Foundation. En juillet 2026, le projet compte 122 000 étoiles sur GitHub.
Fonctionnalités
La principale caractéristique de ComfyUI est qu'il est basé sur des nœuds. Chaque nœud a une fonction telle que « Chargeur de modèle » ou « Encodage de texte CLIP ». Les nœuds sont connectés pour former un graphe de flux de contrôle appelé workflow. Lorsqu'une invite est mise en file d'attente, un cadre surligné apparaît autour du nœud en cours d'exécution, commençant par « charger le point de contrôle » et se terminant par l'image finale et son emplacement de sauvegarde. Les workflows se composent couramment de dizaines de nœuds, formant un graphe acyclique dirigé complexe. Les types de nœuds incluent le chargement d'un modèle, la spécification d'invites, les échantillonneurs, les planificateurs, les décodeurs VAE, la restauration de visage et les modèles de suréchantillonnage, les LoRA, les plongements et les ControlNets.
Plusieurs échantillonneurs sont pris en charge, tels que Euler, Euler_a, dpmpp_2m_sde et dpmpp_3m_sde. Les workflows peuvent être enregistrés dans un fichier, permettant aux utilisateurs de réutiliser les workflows de nœuds et de les partager avec d'autres utilisateurs. Le format de fichier des workflows est en JSON et peut être intégré dans les images générées. Les utilisateurs ont également créé des extensions personnalisées du système de base qui sont exposées comme de nouveaux nœuds, comme l'extension pour AnimateDiff, qui vise à créer des vidéos. ComfyUI a été décrit comme plus complexe par rapport à d'autres interfaces de diffusion telles qu'Automatic1111. Un groupe de nœuds par défaut est également inclus avec le programme.
En décembre 2024, 1 674 nœuds étaient pris en charge. ComfyUI prend en charge plusieurs modèles texte-à-image, notamment Stable Diffusion, Flux et Hunyuan-DiT de Tencent, ainsi que des modèles personnalisés de Civitai comme Pony.
Rôle dans la génération d'images IA
ComfyUI occupe une position significative dans l'écosystème IA générative en tant qu'outil pour construire et exécuter des modèles de diffusion. Contrairement aux interfaces plus simples qui abstraient le pipeline sous-jacent, ComfyUI expose le processus complet sous forme de graphe visuel, donnant aux utilisateurs un contrôle granulaire sur chaque étape, du chargement du modèle à la sortie finale. Cela le rend particulièrement précieux pour les chercheurs, les développeurs et les utilisateurs avancés qui ont besoin d'expérimenter avec différentes configurations de modèles, échantillonneurs et outils auxiliaires comme ControlNet ou LoRA.
L'architecture basée sur des nœuds s'aligne avec la tendance plus large dans apprentissage automatique vers des composants modulaires et réutilisables. En représentant chaque opération comme un nœud, ComfyUI permet le prototypage rapide de nouveaux workflows sans écrire de code, ce qui a contribué à son adoption dans les communautés académiques et amateurs. Son support d'une large gamme de modèles, y compris ceux de Black Forest Labs et Tencent, renforce encore son rôle en tant que plateforme polyvalente pour la créativité pilotée par l'IA.
Incident de sécurité : compromission de l'extension LLMVision
En juin 2024, un groupe de pirates appelé « Nullbulge » a compromis une extension de ComfyUI pour y ajouter du code malveillant. L'extension compromise, appelée ComfyUI_LLMVISION, était utilisée pour intégrer l'interface avec les modèles de langage IA GPT-4 et Claude 3, et était hébergée sur GitHub. Nullbulge a hébergé une liste de centaines de détails de connexion d'utilisateurs de ComfyUI sur plusieurs services sur son site Web, tandis que les utilisateurs de l'extension ont signalé avoir reçu de nombreuses notifications de connexion. vpnMentor a mené des recherches de sécurité sur l'extension et a affirmé qu'elle pouvait « voler des portefeuilles de crypto-monnaie, capturer l'écran de l'utilisateur, exposer des informations sur l'appareil et des adresses IP, et voler des fichiers contenant certains mots-clés ou extensions ».
Le site Web de Nullbulge prétend qu'ils ciblaient les utilisateurs qui avaient commis « un de nos péchés », y compris la génération d'art IA, le vol d'art, la promotion de crypto-monnaies et tout autre type de vol envers les artistes, comme via Patreon. Ils ont affirmé qu'ils étaient « un collectif d'individus qui croient en l'importance de protéger les droits des artistes et d'assurer une compensation équitable pour leur travail » et qu'ils croyaient que « l'art généré par IA est préjudiciable à l'industrie créative et devrait être découragé ».
Impact et communauté
La nature open-source de ComfyUI et son développement actif ont favorisé une grande communauté d'utilisateurs et de contributeurs. Le référentiel GitHub du projet sert de plaque tournante pour partager des workflows, des nœuds personnalisés et des extensions, ce qui a accéléré la diffusion de nouvelles techniques et de nouveaux modèles. L'intégration avec des plateformes comme Civitai permet aux utilisateurs d'importer facilement des modèles personnalisés, élargissant encore les capacités de l'outil.
La popularité du logiciel se reflète dans son nombre élevé d'étoiles sur GitHub, indiquant un fort intérêt et une forte approbation de la communauté. Son rôle dans le paysage plus large de l'IA est notable car il démocratise l'accès aux techniques avancées de génération d'images, permettant aux individus et aux petites équipes de tirer parti de modèles de pointe sans avoir besoin d'une expertise approfondie en programmation. En 2026, ComfyUI continue d'évoluer, avec un support continu pour de nouveaux modèles et fonctionnalités, maintenant son statut d'outil clé dans les communautés d'art IA et de recherche.