ControlNet ist eine neuronale Netzwerkarchitektur, die räumliche Konditionierung zu vortrainierten Text-zu-Bild-Diffusionsmodellen wie Stable Diffusion hinzufügt. Eingeführt in einem Paper vom Februar 2023 von Lvmin Zhang, Anyi Rao und Maneesh Agrawala an der Stanford University, ermöglichte es Benutzern, die Struktur eines generierten Bildes zu steuern, nicht nur dessen Inhalt, indem ein zusätzlicher Eingabewert wie ein Skelett der menschlichen Pose, eine Canny-Kantenkarte, eine Tiefenkarte oder eine grobe Skizze zusammen mit einem Text-Prompt bereitgestellt wurde. Vor ControlNet boten Diffusionsmodelle nur indirekte Kontrolle über die Komposition durch die Formulierung des Prompts und die Auswahl des Seeds; ControlNet machte die strukturelle Kontrolle direkt und zuverlässig.
Architektur
ControlNet funktioniert, indem es die Gewichte der Encodierungsschichten eines vortrainierten Diffusionsmodells in eine trainierbare Kopie klont, während die Gewichte des ursprünglichen Modells eingefroren bleiben. Die trainierbare Kopie erhält das Konditionierungsbild und wird über „Zero-Convolution“-Schichten mit dem eingefrorenen Netzwerk verbunden - das sind Faltungsschichten, die mit Nullgewichten initialisiert werden, sodass der hinzugefügte Zweig zu Beginn des Trainings keine Auswirkung auf die Ausgabe des Basismodells hat. Das Training lehrt das Netzwerk dann schrittweise, das Konditionierungssignal zu berücksichtigen, ohne katastrophal zu vergessen, was das Basismodell bereits aus seinem viel größeren Vortrainingsdatensatz gelernt hat. Da das Basismodell eingefroren bleibt, kann ein einzelnes ControlNet-Modul auf einem vergleichsweise kleinen, aufgabenspezifischen Datensatz trainiert werden, während es die vollständige generative Fähigkeit des zugrunde liegenden Diffusionsmodells erbt. Mehrere ControlNet-Module, die jeweils auf eine andere Art der Konditionierung spezialisiert sind, können auch für eine zusammengesetzte strukturelle Kontrolle kombiniert werden.
Konditionierungstypen
ControlNet wurde mit Unterstützung für mehrere Konditionierungsmodi veröffentlicht, die jeweils ein eigenes trainiertes Modul erfordern: OpenPose-Skelette für die Kontrolle der menschlichen Pose, Canny-Kantenerkennung für die Kontrolle auf Basis von Umrissen, Tiefenkarten zur Steuerung des räumlichen Layouts, Hough-Linienerkennung für architektonische und Innenraumszenen, semantische Segmentierungskarten, Normalkarten sowie Kritzelei- oder Skizzeneingaben für eine grobe kompositorische Führung. Diese Vielfalt machte ControlNet für verschiedene Arbeitsabläufe nützlich, vom konsistenten Posen von Charakteren über eine Reihe von Illustrationen bis hin zur Umwandlung einer groben Kritzelei in ein fertiges Bild, während die vom Künstler beabsichtigte Komposition erhalten bleibt.
Verbreitung und Auswirkungen
ControlNet wurde als Open-Source-Code zusammen mit vortrainierten Gewichten veröffentlicht, die mit Stable Diffusion 1.5 kompatibel sind, und wurde schnell von der an Hugging Face angrenzenden Open-Source-Community für Bildgenerierung übernommen. Es wurde zu einem Standardbestandteil von Oberflächen wie Automatic1111s Stable Diffusion WebUI und ComfyUI. Seine Einführung wird oft als Wendepunkt für die praktische, produktionsorientierte Nutzung von Diffusionsmodellen genannt, da es die zentrale Beschwerde ansprach, dass Textprompts allein Künstlern und Designern zu wenig Kontrolle über die Komposition gaben. Die ControlNet-artige Konditionierung wurde anschließend für neuere Basismodelle, einschließlich Stable Diffusion XL, neu implementiert und erweitert und beeinflusste, wie spätere kommerzielle Systeme wie Midjourney und Flux strukturelle Führung angingen, selbst wenn diese Systeme unterschiedliche zugrunde liegende Mechanismen verwendeten.
Rezeption
ControlNet wurde in der Computer-Vision- und generativen KI-Forschungsgemeinschaft weithin als eine bedeutende, kostengünstige Methode angesehen, um die Fähigkeiten eines bestehenden Foundation-Modells ohne vollständiges Neutraining zu erweitern, und seine Zero-Convolution-Technik beeinflusste spätere Arbeiten zu effizienter Konditionierung und Adaptermethoden im Allgemeinen. Es wurde umfassend als Referenzpunkt in späterer Forschung zur steuerbaren Generierung sowohl für Bilder als auch später für Text-zu-Video-Systeme zitiert, die einen analogen Bedarf an struktureller und zeitlicher Kontrolle haben, der über das hinausgeht, was Textprompts allein spezifizieren können.