ControlNetは、事前学習済みのテキストから画像への拡散モデル（Stable Diffusionなど）に空間的条件付けを追加するニューラルネットワークアーキテクチャである。2023年2月にスタンフォード大学のLvmin Zhang、Anyi Rao、Maneesh Agrawalaによって発表された論文で導入され、ユーザーが生成画像の構造を制御できるようにした。これは内容だけでなく、人体のポーズスケルトン、Cannyエッジマップ、深度マップ、ラフなスケッチなどの補助入力をテキストプロンプトとともに提供することで実現された。ControlNet以前は、拡散モデルはプロンプトの文言とシード選択を通じてのみ構図を間接的に制御できたが、ControlNetは構造的制御を直接的かつ信頼性のあるものにした。
アーキテクチャ
ControlNetは、事前学習済み拡散モデルのエンコーディング層の重みをトレーニング可能なコピーに複製し、元のモデルの重みは凍結したままにする仕組みである。トレーニング可能なコピーには条件付け画像が入力され、「ゼロ畳み込み」層を通じて凍結されたネットワークに再接続される。ゼロ畳み込み層は、重みがゼロで初期化された畳み込み層であり、トレーニング開始時には追加されたブランチがベースモデルの出力に影響を与えないようにする。その後、トレーニングによって、ベースモデルがはるかに大規模な事前学習データセットから学習した内容を壊滅的に忘れることなく、条件付け信号を尊重するようにネットワークが徐々に学習される。ベースモデルが凍結されているため、単一のControlNetモジュールは比較的小規模でタスク固有のデータセットでトレーニングでき、基盤となる拡散モデルの完全な生成能力を継承できる。異なるタイプの条件付けに特化した複数のControlNetモジュールを組み合わせて、複合的な構造制御を行うことも可能である。
条件付けの種類
ControlNetは、いくつかの条件付けモードをサポートしてリリースされ、それぞれに専用のトレーニング済みモジュールが必要である。人体のポーズ制御用のOpenPoseスケルトン、輪郭ベースの制御用のCannyエッジ検出、空間レイアウト制御用の深度マップ、建築物やインテリアシーン用のハフ線検出、セマンティックセグメンテーションマップ、ノーマルマップ、ラフな構図ガイダンス用のスクリブルまたはスケッチ入力などがある。この多様性により、ControlNetは一連のイラスト全体でキャラクターのポーズを一貫させることから、ラフな落書きをアーティストの意図したレイアウトを保ちながら完成画像に変換することまで、さまざまなワークフローで有用となった。
採用と影響
ControlNetは、Stable Diffusion 1.5と互換性のある事前学習済み重みとともにオープンソースコードとしてリリースされ、Hugging Face関連のオープンソース画像生成コミュニティで急速に採用され、Automatic1111のStable Diffusion WebUIやComfyUIなどのインターフェースの標準コンポーネントとなった。その登場は、拡散モデルの実用的で制作指向の使用における転換点としてしばしば挙げられる。なぜなら、テキストプロンプトだけではアーティストやデザイナーに構図の制御が不十分であるという中心的な不満に対処したからである。ControlNetスタイルの条件付けはその後、Stable Diffusion XLを含む新しいベースモデル向けに再実装および拡張され、MidjourneyやFluxなどの後の商用システムが構造的ガイダンスに取り組む方法に影響を与えた。これらのシステムが異なる基盤メカニズムを使用している場合でも同様である。
評価
ControlNetは、コンピュータビジョンおよび生成AI研究コミュニティ内で、既存の基盤モデルの能力を完全な再トレーニングなしで拡張するための重要かつ低コストな方法として広く認識され、そのゼロ畳み込み技術は、効率的な条件付けおよびアダプタ手法に関するその後の研究に広く影響を与えた。また、画像および後のテキストから動画へシステムにおける制御可能な生成に関するその後の研究で、参照点として広く引用されている。これらのシステムは、テキストプロンプトだけでは指定できない構造的および時間的制御という同様のニーズに直面している。