ComfyUI是一个开源的、基于节点的程序,允许用户通过一系列文本提示生成图像。它使用免费的扩散模型(如稳定扩散)作为其图像功能的基础模型,并结合其他工具(如控制网络和LCM低秩适应),每个工具在程序中由一个节点表示。该软件旨在提供一个灵活的、可视化的界面,用于构建复杂的图像生成流程,并已成为Stable Diffusion最受欢迎的用户界面之一,与Automatic1111并列。
ComfyUI于2023年1月在GitHub上发布。据其创建者comfyanonymous称,该项目的一个主要目标是改进现有软件在用户界面方面的设计。创建者曾参与Stability AI,但到2024年6月3日,该参与已结束,并与核心开发者共同创建了一个名为Comfy Org的组织。2024年7月,英伟达宣布在其RTX Remix修改软件中支持ComfyUI。2024年8月,增加了对Black Forest Labs开发的Flux扩散模型的支持,并且Comfy Org加入了由Linux基金会创建的开放模型倡议。截至2026年7月,该项目在GitHub上拥有12.2万颗星。
功能
ComfyUI的主要特点是基于节点。每个节点具有一个功能,如“模型加载器”或“CLIP文本编码”。节点通过连接形成一个称为工作流的控制流图。当提示被排队时,当前执行的节点周围会出现一个高亮框,从“加载检查点”开始,到最终图像及其保存位置结束。工作流通常由数十个节点组成,形成一个复杂的有向无环图。节点类型包括加载模型、指定提示、采样器、调度器、VAE解码器、面部修复和放大模型、LoRA、嵌入和ControlNet。
支持多种采样器,如Euler、Euler_a、dpmpp_2m_sde和dpmpp_3m_sde。工作流可以保存到文件中,允许用户重用节点工作流并与其他用户共享。工作流的文件格式为JSON,并且可以嵌入到生成的图像中。用户还创建了基础系统的自定义扩展,这些扩展作为新节点暴露,例如旨在创建视频的AnimateDiff扩展。与Automatic1111等其他扩散UI相比,ComfyUI被描述为更复杂。程序还包含一个默认节点组。
截至2024年12月,支持1,674个节点。ComfyUI支持多种文本到图像模型,包括Stable Diffusion、Flux和腾讯的Hunyuan-DiT,以及来自Civitai的自定义模型(如Pony)。
在AI图像生成中的作用
ComfyUI在生成式AI生态系统中占据重要地位,作为构建和运行扩散模型的工具。与抽象化底层流程的简单界面不同,ComfyUI将完整过程暴露为可视化图形,使用户能够对从模型加载到最终输出的每一步进行精细控制。这使得它对研究人员、开发人员和需要尝试不同模型配置、采样器以及ControlNet或LoRA等辅助工具的高级用户特别有价值。
基于节点的架构与机器学习中模块化和可重用组件的更广泛趋势相一致。通过将每个操作表示为节点,ComfyUI无需编写代码即可快速原型化新工作流,这促进了其在学术和爱好者社区中的采用。其对广泛模型(包括来自Black Forest Labs和腾讯的模型)的支持,进一步巩固了其作为AI驱动创造力多功能平台的角色。
安全事件:LLMVision扩展被入侵
2024年6月,一个名为“Nullbulge”的黑客组织入侵了ComfyUI的一个扩展,并向其中添加了恶意代码。这个被入侵的扩展名为ComfyUI_LLMVISION,用于将界面与AI语言模型GPT-4和Claude 3集成,并托管在GitHub上。Nullbulge在其网站上发布了数百名ComfyUI用户跨多个服务的登录详细信息列表,而该扩展的用户报告收到了大量登录通知。vpnMentor对该扩展进行了安全研究,并声称其可以“窃取加密货币钱包、截取用户屏幕、暴露设备信息和IP地址,以及窃取包含某些关键词或扩展名的文件”。
Nullbulge的网站声称他们针对的是犯有“我们罪过之一”的用户,其中包括AI艺术生成、艺术盗窃、推广加密货币以及任何其他形式的对艺术家的盗窃(例如来自Patreon的盗窃)。他们声称自己是“一群相信保护艺术家权利和确保其工作公平报酬重要性的个人”,并且他们认为“AI生成的艺术作品对创意产业有害,应予以劝阻”。
影响与社区
ComfyUI的开源性质和积极开发培育了一个庞大的用户和贡献者社区。该项目的GitHub仓库是共享工作流、自定义节点和扩展的中心,加速了新技术和模型的传播。与Civitai等平台的集成允许用户轻松导入自定义模型,进一步扩展了该工具的功能。
该软件的受欢迎程度反映在其GitHub上的高星标数上,表明社区强烈的兴趣和认可。它在更广泛的AI领域中的作用值得注意,因为它使先进的图像生成技术民主化,使个人和小团队无需广泛的编程专业知识即可利用最先进的模型。截至2026年,ComfyUI持续发展,不断支持新模型和功能,保持其在AI艺术和研究社区中关键工具的地位。