ComfyUI é um programa de código aberto baseado em nós que permite aos usuários gerar imagens a partir de uma série de prompts de texto. Ele utiliza modelos de difusão gratuitos, como o Stable Diffusion, como modelo base para suas capacidades de imagem, combinados com outras ferramentas, como ControlNet e adaptação de baixa classificação LCM, com cada ferramenta sendo representada por um nó no programa. O software é projetado para fornecer uma interface visual flexível para a construção de pipelines complexos de geração de imagens, e se tornou uma das interfaces de usuário mais populares para o Stable Diffusion, ao lado do Automatic1111.
O ComfyUI foi lançado no GitHub em janeiro de 2023. De acordo com comfyanonymous, o criador, um dos principais objetivos do projeto era melhorar os designs de software existentes em termos de interface de usuário. O criador esteve envolvido com a Stability AI, mas em 3 de junho de 2024 esse envolvimento terminou, e uma organização chamada Comfy Org foi criada junto com os desenvolvedores principais. Em julho de 2024, a NVIDIA anunciou suporte para o ComfyUI dentro de seu software de modding RTX Remix. Em agosto de 2024, foi adicionado suporte para o modelo de difusão Flux desenvolvido pela Black Forest Labs, e a Comfy Org se juntou à Open Model Initiative criada pela Linux Foundation. Em julho de 2026, o projeto possui 122 mil estrelas no GitHub.
Recursos
A principal característica do ComfyUI é que ele é baseado em nós. Cada nó tem uma função, como "Carregador de modelo" ou "Codificação de texto CLIP". Os nós são conectados para formar um grafo de fluxo de controle chamado workflow. Quando um prompt é enfileirado, um quadro destacado aparece ao redor do nó atualmente em execução, começando em "carregar checkpoint" e terminando com a imagem final e seu local de salvamento. Os workflows geralmente consistem em dezenas de nós, formando um grafo acíclico direcionado complexo. Os tipos de nós incluem carregar um modelo, especificar prompts, amostradores, agendadores, decodificadores VAE, modelos de restauração facial e upscaling, LoRAs, embeddings e ControlNets.
Vários amostradores são suportados, como Euler, Euler_a, dpmpp_2m_sde e dpmpp_3m_sde. Os workflows podem ser salvos em um arquivo, permitindo que os usuários reutilizem workflows de nós e os compartilhem com outros usuários. O formato de arquivo para os workflows é em JSON e pode ser incorporado nas imagens geradas. Os usuários também criaram extensões personalizadas para o sistema base que são expostas como novos nós, como a extensão para AnimateDiff, que visa criar vídeos. O ComfyUI foi descrito como mais complexo em comparação com outras interfaces de difusão, como o Automatic1111. Um grupo de nós padrão também está incluído no programa.
Em dezembro de 2024, 1.674 nós eram suportados. O ComfyUI suporta vários modelos de texto para imagem, incluindo Stable Diffusion, Flux e Hunyuan-DiT da Tencent, bem como modelos personalizados do Civitai, como o Pony.
Papel na Geração de Imagens por IA
O ComfyUI ocupa uma posição significativa no ecossistema de IA generativa como uma ferramenta para construir e executar modelos de difusão. Ao contrário de interfaces mais simples que abstraem o pipeline subjacente, o ComfyUI expõe o processo completo como um grafo visual, dando aos usuários controle granular sobre cada etapa, desde o carregamento do modelo até a saída final. Isso o torna particularmente valioso para pesquisadores, desenvolvedores e usuários avançados que precisam experimentar diferentes configurações de modelo, amostradores e ferramentas auxiliares, como ControlNet ou LoRAs.
A arquitetura baseada em nós está alinhada com a tendência mais ampla em aprendizado de máquina em direção a componentes modulares e reutilizáveis. Ao representar cada operação como um nó, o ComfyUI permite a prototipagem rápida de novos workflows sem escrever código, o que contribuiu para sua adoção tanto em comunidades acadêmicas quanto amadoras. Seu suporte para uma ampla gama de modelos, incluindo os da Black Forest Labs e da Tencent, consolida ainda mais seu papel como uma plataforma versátil para a criatividade impulsionada por IA.
Incidente de Segurança: Comprometimento da Extensão LLMVision
Em junho de 2024, um grupo de hackers chamado "Nullbulge" comprometeu uma extensão do ComfyUI para adicionar código malicioso a ela. A extensão comprometida, chamada ComfyUI_LLMVISION, era usada para integrar a interface com modelos de linguagem de IA GPT-4 e Claude 3, e estava hospedada no GitHub. O Nullbulge hospedou uma lista de centenas de detalhes de login de usuários do ComfyUI em vários serviços em seu site, enquanto usuários da extensão relataram receber inúmeras notificações de login. O vpnMentor conduziu uma pesquisa de segurança sobre a extensão e afirmou que ela poderia "roubar carteiras de criptomoedas, capturar a tela do usuário, expor informações do dispositivo e endereços IP, e roubar arquivos que contenham certas palavras-chave ou extensões".
O site do Nullbulge afirma que eles visaram usuários que cometeram "um dos nossos pecados", que incluíam geração de arte por IA, roubo de arte, promoção de criptomoedas e qualquer outro tipo de roubo de artistas, como do Patreon. Eles afirmaram que eram "um coletivo de indivíduos que acreditam na importância de proteger os direitos dos artistas e garantir compensação justa por seu trabalho" e que acreditavam que "a arte gerada por IA é prejudicial à indústria criativa e deve ser desencorajada".
Impacto e Comunidade
A natureza de código aberto do ComfyUI e seu desenvolvimento ativo promoveram uma grande comunidade de usuários e contribuidores. O repositório do projeto no GitHub serve como um centro para compartilhar workflows, nós personalizados e extensões, o que acelerou a disseminação de novas técnicas e modelos. A integração com plataformas como o Civitai permite que os usuários importem facilmente modelos personalizados, expandindo ainda mais as capacidades da ferramenta.
A popularidade do software é refletida em sua alta contagem de estrelas no GitHub, indicando forte interesse e aprovação da comunidade. Seu papel no cenário mais amplo de IA é notável porque democratiza o acesso a técnicas avançadas de geração de imagens, permitindo que indivíduos e pequenas equipes aproveitem modelos de última geração sem precisar de amplo conhecimento de programação. Em 2026, o ComfyUI continua evoluindo, com suporte contínuo para novos modelos e recursos, mantendo seu status como uma ferramenta-chave nas comunidades de arte e pesquisa em IA.