ComfyUIは、一連のテキストプロンプトから画像を生成できる、オープンソースのノードベースのプログラムである。画像機能のベースモデルとしてStable Diffusionなどの無料の拡散モデルを使用し、ControlNetやLCM Low-rank adaptationなどの他のツールと組み合わせる。各ツールはプログラム内のノードで表される。このソフトウェアは、複雑な画像生成パイプラインを構築するための柔軟で視覚的なインターフェースを提供するように設計されており、Automatic1111と並んでStable Diffusion用の最も人気のあるユーザーインターフェースの1つとなっている。
ComfyUIは2023年1月にGitHubでリリースされた。作成者であるcomfyanonymousによると、プロジェクトの主要な目標は、ユーザーインターフェースの点で既存のソフトウェア設計を改善することだった。作成者はStability AIに関与していたが、2024年6月3日までにその関与は終了し、コア開発者とともにComfy Orgという組織が設立された。2024年7月、NVIDIAはRTX Remixモデリングソフトウェア内でComfyUIのサポートを発表した。2024年8月には、Black Forest Labsが開発したFlux拡散モデルのサポートが追加され、Comfy OrgはLinux Foundationが設立したOpen Model Initiativeに参加した。2026年7月時点で、このプロジェクトはGitHubで122kのスターを獲得している。
特徴
ComfyUIの主な特徴は、ノードベースであることだ。各ノードには「モデルローダー」や「CLIPテキストエンコード」などの機能がある。ノードは接続されて、ワークフローと呼ばれる制御フローグラフを形成する。プロンプトがキューに入れられると、現在実行中のノードの周囲にハイライトされたフレームが表示され、「チェックポイントの読み込み」から始まり、最終画像とその保存場所で終了する。ワークフローは通常、数十のノードで構成され、複雑な有向非巡回グラフを形成する。ノードの種類には、モデルの読み込み、プロンプトの指定、サンプラー、スケジューラー、VAEデコーダー、顔復元およびアップスケーリングモデル、LoRA、埋め込み、ControlNetなどがある。
Euler、Euler_a、dpmpp_2m_sde、dpmpp_3m_sdeなど、いくつかのサンプラーがサポートされている。ワークフローはファイルに保存でき、ユーザーはノードワークフローを再利用したり、他のユーザーと共有したりできる。ワークフローのファイル形式はJSONで、生成された画像に埋め込むことができる。ユーザーはまた、AnimateDiff用の拡張機能など、新しいノードとして公開されるベースシステムへのカスタム拡張機能を作成している。AnimateDiffは動画の作成を目的としている。ComfyUIは、Automatic1111などの他の拡散UIと比較して、より複雑であると説明されている。プログラムにはデフォルトのノードグループも含まれている。
2024年12月時点で、1,674のノードがサポートされている。ComfyUIは、Stable Diffusion、Flux、TencentのHunyuan-DiTなど、複数のテキストから画像へのモデルをサポートしており、CivitaiのPonyなどのカスタムモデルもサポートしている。
AI画像生成における役割
ComfyUIは、生成AIエコシステムにおいて、拡散モデルを構築および実行するためのツールとして重要な位置を占めている。基盤となるパイプラインを抽象化するより単純なインターフェースとは異なり、ComfyUIはプロセス全体を視覚的なグラフとして公開し、モデルの読み込みから最終出力までの各ステップをユーザーに詳細に制御させる。これにより、さまざまなモデル構成、サンプラー、ControlNetやLoRAなどの補助ツールを試す必要がある研究者、開発者、上級ユーザーにとって特に価値がある。
ノードベースのアーキテクチャは、機械学習におけるモジュール式で再利用可能なコンポーネントへの広範なトレンドと一致している。各操作をノードとして表すことで、ComfyUIはコードを書かずに新しいワークフローの迅速なプロトタイピングを可能にし、学術コミュニティと趣味のコミュニティの両方での採用に貢献している。Black Forest LabsやTencentのモデルを含む幅広いモデルのサポートは、AI主導の創造性のための多用途プラットフォームとしての役割をさらに確固たるものにしている。
セキュリティインシデント: LLMVision拡張機能の侵害
2024年6月、ハッカーグループ「Nullbulge」がComfyUIの拡張機能を侵害し、悪意のあるコードを追加した。侵害された拡張機能はComfyUI_LLMVISIONと呼ばれ、インターフェースをAI言語モデルGPT-4およびClaude 3と統合するために使用され、GitHubでホストされていた。Nullbulgeは、数百人のComfyUIユーザーの複数のサービスにわたるログイン情報のリストを自社ウェブサイトで公開し、拡張機能のユーザーは多数のログイン通知を受け取ったと報告した。vpnMentorはこの拡張機能についてセキュリティ調査を実施し、「暗号通貨ウォレットを盗み、ユーザーの画面をスクリーンショットし、デバイス情報とIPアドレスを公開し、特定のキーワードまたは拡張子を含むファイルを盗む」可能性があると主張した。
Nullbulgeのウェブサイトは、「私たちの罪」の1つを犯したユーザーを標的にしていると主張している。その罪には、AIアート生成、アート盗難、暗号通貨の宣伝、Patreonなどからのアーティストへのあらゆる種類の盗難が含まれる。彼らは「アーティストの権利を保護し、その作品に対する公正な報酬を確保することの重要性を信じる個人の集団」であり、「AI生成アートワークはクリエイティブ業界に有害であり、抑制されるべきである」と信じていると主張した。
影響とコミュニティ
ComfyUIのオープンソースの性質と活発な開発により、ユーザーと貢献者の大規模なコミュニティが育成されている。プロジェクトのGitHubリポジトリは、ワークフロー、カスタムノード、拡張機能を共有するためのハブとして機能し、新しい技術とモデルの普及を加速させている。Civitaiなどのプラットフォームとの統合により、ユーザーはカスタムモデルを簡単にインポートでき、ツールの機能がさらに拡張される。
このソフトウェアの人気は、GitHubでの高いスター数に反映されており、強いコミュニティの関心と承認を示している。AI分野全体におけるその役割は、高度な画像生成技術へのアクセスを民主化し、個人や小規模チームが広範なプログラミングの専門知識を必要とせずに最先端のモデルを活用できるようにする点で注目に値する。2026年時点で、ComfyUIは進化を続けており、新しいモデルと機能の継続的なサポートにより、AIアートおよび研究コミュニティにおける主要なツールとしての地位を維持している。