ComfyUI es un programa de código abierto basado en nodos que permite a los usuarios generar imágenes a partir de una serie de indicaciones de texto. Utiliza modelos de difusión gratuitos como Stable Diffusion como modelo base para sus capacidades de imagen, combinado con otras herramientas como ControlNet y la adaptación de bajo rango LCM, representándose cada herramienta mediante un nodo en el programa. El software está diseñado para proporcionar una interfaz visual flexible para construir pipelines complejos de generación de imágenes, y se ha convertido en una de las interfaces de usuario más populares para Stable Diffusion, junto con Automatic1111.
ComfyUI fue lanzado en GitHub en enero de 2023. Según comfyanonymous, el creador, un objetivo principal del proyecto era mejorar los diseños de software existentes en términos de interfaz de usuario. El creador había estado involucrado con Stability AI, pero para el 3 de junio de 2024 esa participación había terminado, y se había creado una organización llamada Comfy Org junto con los desarrolladores principales. En julio de 2024, NVIDIA anunció soporte para ComfyUI dentro de su software de modding RTX Remix. En agosto de 2024, se añadió soporte para el modelo de difusión Flux desarrollado por Black Forest Labs, y Comfy Org se unió a la Open Model Initiative creada por la Linux Foundation. A partir de julio de 2026, el proyecto tiene 122k estrellas en GitHub.
Características
La característica principal de ComfyUI es que está basado en nodos. Cada nodo tiene una función como "Cargador de modelos" o "Codificación de texto CLIP". Los nodos están conectados para formar un grafo de flujo de control llamado workflow. Cuando se pone en cola una indicación, aparece un marco resaltado alrededor del nodo que se está ejecutando actualmente, comenzando desde "cargar checkpoint" y terminando con la imagen final y su ubicación de guardado. Los workflows suelen consistir en decenas de nodos, formando un grafo acíclico dirigido complejo. Los tipos de nodos incluyen cargar un modelo, especificar indicaciones, muestreadores, programadores, decodificadores VAE, modelos de restauración facial y de upscaling, LoRAs, embeddings y ControlNets.
Se admiten varios muestreadores, como Euler, Euler_a, dpmpp_2m_sde y dpmpp_3m_sde. Los workflows se pueden guardar en un archivo, lo que permite a los usuarios reutilizar workflows de nodos y compartirlos con otros usuarios. El formato de archivo para los workflows es JSON y se puede incrustar en las imágenes generadas. Los usuarios también han creado extensiones personalizadas para el sistema base que se exponen como nuevos nodos, como la extensión para AnimateDiff, que tiene como objetivo crear videos. ComfyUI ha sido descrito como más complejo en comparación con otras interfaces de difusión como Automatic1111. También se incluye un grupo de nodos predeterminado con el programa.
A diciembre de 2024, se admitían 1,674 nodos. ComfyUI admite múltiples modelos de texto a imagen, incluidos Stable Diffusion, Flux y Hunyuan-DiT de Tencent, así como modelos personalizados de Civitai como Pony.
Papel en la generación de imágenes con IA
ComfyUI ocupa una posición significativa en el ecosistema de IA generativa como una herramienta para construir y ejecutar modelos de difusión. A diferencia de interfaces más simples que abstraen el pipeline subyacente, ComfyUI expone el proceso completo como un grafo visual, dando a los usuarios un control granular sobre cada paso, desde la carga del modelo hasta la salida final. Esto lo hace particularmente valioso para investigadores, desarrolladores y usuarios avanzados que necesitan experimentar con diferentes configuraciones de modelos, muestreadores y herramientas auxiliares como ControlNet o LoRAs.
La arquitectura basada en nodos se alinea con la tendencia más amplia en aprendizaje automático hacia componentes modulares y reutilizables. Al representar cada operación como un nodo, ComfyUI permite la creación rápida de prototipos de nuevos workflows sin escribir código, lo que ha contribuido a su adopción tanto en comunidades académicas como de aficionados. Su soporte para una amplia gama de modelos, incluidos los de Black Forest Labs y Tencent, consolida aún más su papel como una plataforma versátil para la creatividad impulsada por IA.
Incidente de seguridad: compromiso de la extensión LLMVision
En junio de 2024, un grupo de hackers llamado "Nullbulge" comprometió una extensión de ComfyUI para añadirle código malicioso. La extensión comprometida, llamada ComfyUI_LLMVISION, se utilizaba para integrar la interfaz con modelos de lenguaje de IA GPT-4 y Claude 3, y estaba alojada en GitHub. Nullbulge publicó una lista de cientos de datos de inicio de sesión de usuarios de ComfyUI en múltiples servicios en su sitio web, mientras que los usuarios de la extensión informaron haber recibido numerosas notificaciones de inicio de sesión. vpnMentor realizó una investigación de seguridad sobre la extensión y afirmó que podía "robar carteras de criptomonedas, capturar la pantalla del usuario, exponer información del dispositivo y direcciones IP, y robar archivos que contengan ciertas palabras clave o extensiones".
El sitio web de Nullbulge afirma que atacaron a usuarios que cometieron "uno de nuestros pecados", que incluía la generación de arte con IA, el robo de arte, la promoción de criptomonedas y cualquier otro tipo de robo a artistas, como a través de Patreon. Afirmaron que eran "un colectivo de individuos que creen en la importancia de proteger los derechos de los artistas y garantizar una compensación justa por su trabajo" y que creían que "el arte generado por IA es perjudicial para la industria creativa y debería desalentarse".
Impacto y comunidad
La naturaleza de código abierto de ComfyUI y su desarrollo activo han fomentado una gran comunidad de usuarios y contribuyentes. El repositorio de GitHub del proyecto sirve como un centro para compartir workflows, nodos personalizados y extensiones, lo que ha acelerado la difusión de nuevas técnicas y modelos. La integración con plataformas como Civitai permite a los usuarios importar fácilmente modelos personalizados, ampliando aún más las capacidades de la herramienta.
La popularidad del software se refleja en su alto número de estrellas en GitHub, lo que indica un fuerte interés y aprobación de la comunidad. Su papel en el panorama más amplio de la IA es notable porque democratiza el acceso a técnicas avanzadas de generación de imágenes, permitiendo a individuos y pequeños equipos aprovechar modelos de última generación sin necesidad de una amplia experiencia en programación. A partir de 2026, ComfyUI continúa evolucionando, con soporte continuo para nuevos modelos y características, manteniendo su estatus como una herramienta clave en las comunidades de arte e investigación en IA.