ComfyUI는 사용자가 일련의 텍스트 프롬프트로부터 이미지를 생성할 수 있게 해주는 오픈소스, 노드 기반 프로그램이다. 이미지 기능의 기본 모델로 Stable Diffusion과 같은 무료 확산 모델을 사용하며, ControlNet 및 LCM Low-rank adaptation과 같은 다른 도구와 결합되며, 각 도구는 프로그램에서 노드로 표현된다. 이 소프트웨어는 복잡한 이미지 생성 파이프라인을 구축하기 위한 유연하고 시각적인 인터페이스를 제공하도록 설계되었으며, Automatic1111과 함께 Stable Diffusion에서 가장 인기 있는 사용자 인터페이스 중 하나가 되었다.
ComfyUI는 2023년 1월 GitHub에 출시되었다. 창작자 comfyanonymous에 따르면, 프로젝트의 주요 목표 중 하나는 사용자 인터페이스 측면에서 기존 소프트웨어 설계를 개선하는 것이었다. 창작자는 Stability AI에 관여했었지만, 2024년 6월 3일까지 그 관여는 종료되었고, 핵심 개발자들과 함께 Comfy Org라는 조직이 설립되었다. 2024년 7월, NVIDIA는 RTX Remix 모딩 소프트웨어 내에서 ComfyUI 지원을 발표했다. 2024년 8월, Black Forest Labs가 개발한 Flux 확산 모델에 대한 지원이 추가되었고, Comfy Org는 Linux Foundation이 만든 Open Model Initiative에 합류했다. 2026년 7월 기준, 이 프로젝트는 GitHub에서 122,000개의 스타를 보유하고 있다.
기능
ComfyUI의 주요 기능은 노드 기반이라는 점이다. 각 노드는 "모델 로더" 또는 "CLIP 텍스트 인코딩"과 같은 기능을 가지고 있다. 노드들은 워크플로우라고 불리는 제어 흐름 그래프를 형성하기 위해 연결된다. 프롬프트가 대기열에 들어가면, 현재 실행 중인 노드 주위에 강조된 프레임이 나타나며, "체크포인트 로드"에서 시작하여 최종 이미지와 저장 위치로 끝난다. 워크플로우는 일반적으로 수십 개의 노드로 구성되어 복잡한 방향성 비순환 그래프를 형성한다. 노드 유형에는 모델 로딩, 프롬프트 지정, 샘플러, 스케줄러, VAE 디코더, 얼굴 복원 및 업스케일링 모델, LoRA, 임베딩, ControlNet이 포함된다.
Euler, Euler_a, dpmpp_2m_sde, dpmpp_3m_sde와 같은 여러 샘플러가 지원된다. 워크플로우는 파일로 저장할 수 있어 사용자가 노드 워크플로우를 재사용하고 다른 사용자와 공유할 수 있다. 워크플로우의 파일 형식은 JSON이며 생성된 이미지에 내장될 수 있다. 사용자들은 또한 기본 시스템에 대한 사용자 정의 확장 기능을 만들어 새 노드로 노출시켰으며, 예를 들어 비디오 생성을 목표로 하는 AnimateDiff용 확장 기능이 있다. ComfyUI는 Automatic1111과 같은 다른 확산 UI에 비해 더 복잡하다고 설명되어 왔다. 기본 노드 그룹도 프로그램에 포함되어 있다.
2024년 12월 기준으로 1,674개의 노드가 지원되었다. ComfyUI는 Stable Diffusion, Flux, Tencent의 Hunyuan-DiT를 포함한 여러 텍스트-이미지 모델과 Civitai의 Pony와 같은 사용자 정의 모델을 지원한다.
AI 이미지 생성에서의 역할
ComfyUI는 생성형 AI 생태계에서 확산 모델을 구축하고 실행하기 위한 도구로서 중요한 위치를 차지한다. 기본 파이프라인을 추상화하는 더 단순한 인터페이스와 달리, ComfyUI는 전체 프로세스를 시각적 그래프로 노출하여 모델 로딩부터 최종 출력까지 각 단계에 대한 세밀한 제어를 사용자에게 제공한다. 이는 다양한 모델 구성, 샘플러, ControlNet 또는 LoRA와 같은 보조 도구를 실험해야 하는 연구자, 개발자 및 고급 사용자에게 특히 가치가 있다.
노드 기반 아키텍처는 머신 러닝에서 모듈식 및 재사용 가능한 구성 요소로의 광범위한 추세와 일치한다. 각 작업을 노드로 표현함으로써, ComfyUI는 코드를 작성하지 않고도 새 워크플로우의 빠른 프로토타이핑을 가능하게 하며, 이는 학계와 취미 커뮤니티 모두에서 채택에 기여했다. Black Forest Labs와 Tencent의 모델을 포함한 광범위한 모델 지원은 AI 기반 창의성을 위한 다재다능한 플랫폼으로서의 역할을 더욱 공고히 한다.
보안 사고: LLMVision 확장 기능 손상
2024년 6월, "Nullbulge"라는 해커 그룹이 ComfyUI의 확장 기능을 손상시켜 악성 코드를 추가했다. 손상된 확장 기능인 ComfyUI_LLMVISION은 인터페이스를 AI 언어 모델 GPT-4 및 Claude 3와 통합하는 데 사용되었으며 GitHub에 호스팅되었다. Nullbulge는 웹사이트에 수백 명의 ComfyUI 사용자 로그인 정보를 여러 서비스에 걸쳐 목록으로 게시했으며, 확장 기능 사용자들은 여러 로그인 알림을 받았다고 보고했다. vpnMentor는 확장 기능에 대한 보안 연구를 수행했으며 "암호화폐 지갑을 훔치고, 사용자 화면을 스크린샷하고, 장치 정보와 IP 주소를 노출하고, 특정 키워드나 확장자를 포함한 파일을 훔칠 수 있다"고 주장했다.
Nullbulge의 웹사이트는 AI 아트 생성, 예술 도용, 암호화폐 홍보, Patreon과 같은 예술가로부터의 기타 모든 종류의 도용을 포함한 "우리의 죄 중 하나"를 저지른 사용자를 표적으로 삼았다고 주장한다. 그들은 "예술가의 권리를 보호하고 그들의 작업에 대한 공정한 보상을 보장하는 것의 중요성을 믿는 개인들의 집단"이며 "AI 생성 예술 작품은 창의 산업에 해롭고 억제되어야 한다"고 믿는다고 주장했다.
영향 및 커뮤니티
ComfyUI의 오픈소스 특성과 활발한 개발은 많은 사용자와 기여자 커뮤니티를 육성했다. 프로젝트의 GitHub 저장소는 워크플로우, 사용자 정의 노드 및 확장 기능을 공유하는 허브 역할을 하며, 이는 새로운 기술과 모델의 확산을 가속화했다. Civitai와 같은 플랫폼과의 통합을 통해 사용자는 사용자 정의 모델을 쉽게 가져올 수 있어 도구의 기능을 더욱 확장한다.
이 소프트웨어의 인기는 GitHub의 높은 스타 수에 반영되어 강력한 커뮤니티 관심과 승인을 나타낸다. AI 환경에서의 역할은 고급 이미지 생성 기술에 대한 접근을 민주화하여 개인과 소규모 팀이 광범위한 프로그래밍 전문 지식 없이도 최첨단 모델을 활용할 수 있게 한다는 점에서 주목할 만하다. 2026년 현재, ComfyUI는 새로운 모델과 기능에 대한 지속적인 지원으로 계속 진화하며 AI 아트 및 연구 커뮤니티에서 핵심 도구로서의 지위를 유지하고 있다.