ControlNet es una arquitectura de red neuronal que añade condicionamiento espacial a modelos de texto a imagen preentrenados, como Stable Diffusion. Introducida en un artículo de febrero de 2023 por Lvmin Zhang, Anyi Rao,y Maneesh Agrawala en la Universidad de Stanford, permite a los usuarios controlar la estructura de una imagen generada, no solo su contenido, al proporcionar una entrada auxiliar como un esqueleto de pose humana, un mapa de bordes Canny, un mapa de profundidad, o un boceto aproximado junto con un prompt de texto. Antes de ControlNet, los modelos de difusión ofrecían solo un control indirecto sobre la composición mediante la redacción del prompt y la selección de la semilla; ControlNet hizo que el control estructural fuera directo y confiable.
Arquitectura
ControlNet funciona clonando los pesos de las capas de codificación de un modelo de difusión preentrenado en una copia entrenable, mientras mantiene los pesos del modelo original congelados. La copia entrenable se alimenta con la imagen de condicionamiento y se conecta de vuelta a la red congelada mediante capas de "convolución cero", capas convolucionales inicializadas con pesos cero de modo que, al inicio del entrenamiento, la rama añadida no tenga efecto en la salida del modelo base. El entrenamiento entonces enseña gradualmente a la red a respetar la señal de condicionamiento sin olvidar catastróficamente lo que el modelo base ya aprendió de su conjunto de preentrenamiento mucho más grande. Debido a que el modelo base permanece congelado, un solo módulo ControlNet puede entrenarse en un conjunto de datos comparativamente pequeño y específico de la tarea mientras hereda la capacidad generativa completa del modelo de difusión subyacente. Múltiples módulos ControlNet, cada uno especializado para un tipo diferente de condicionamiento, también pueden combinarse para un control estructural compuesto
Tipos de condicionamiento
ControlNet se lanzó con soporte para varios modos de condicionamiento, cada uno requiriendo su propio módulo entrenado: esqueletos OpenPose para el control de la pose humana, detección de bordes Canny para el control basado en contornos, mapas de profundidad para controlar la disposición espacial, detección de líneas Hough para escenas arquitectónicas e interiores, mapas de segmentación semántica, mapas de normales,y entradas de garabatos o bocetos para una guía compositiva aproximada. Esta variedad hizo que ControlNet fuera útil en distintos flujos de trabajo, desde posar personajes de manera consistente a lo largo de una serie de ilustraciones hasta convertir un garabato aproximado en una imagen terminada mientras se preserva la disposición prevista por el artista
Adopción e impacto
ControlNet se lanzó como código de código abierto junto con pesos preentrenados compatibles con Stable Diffusion 1.5,y fue adoptado rápidamente por la comunidad de generación de imágenes de código abierto cercana a Hugging Face, convirtiéndose en un componente estándar de interfaces como el WebUI de Stable Diffusion de Automatic1111 y ComfyUI. Su llegada se cita a menudo como un punto de inflexión para el uso práctico y orientado a la producción de los modelos de difusión, ya que abordó la queja central de que los prompts de texto por sí solos daban a artistas y diseñadores demasiado poco control sobre la composición. El condicionamiento estilo ControlNet fue posteriormente reimplementado y extendido para modelos base más nuevos, incluyendo Stable Diffusion XL,y influyó en cómo sistemas comerciales posteriores como Midjourney y Flux abordaron la guía estructural, incluso donde esos sistemas usaban mecanismos subyacentes diferentes
Recepción
ControlNet fue ampliamente considerado dentro de la comunidad de investigación de visión por computadora y de IA generativa como un método significativo y de bajo costo para extender las capacidades de un modelo fundacional sin un reentrenamiento completo,y su técnica de convolución cero influyó en trabajos posteriores sobre condicionamiento eficiente y métodos de adaptadores de manera más amplia. Ha sido citado extensamente como un punto de referencia en investigaciones posteriores sobre generación controlable tanto para imágenes como, más tarde, sistemas de texto a video, que enfrentan una necesidad análoga de control estructural y temporal más allá de lo que los prompts de texto por sí solos pueden especificar.