ControlNet은 사전 훈련된 텍스트-이미지 확산 모델에 공간적 조건화를 추가하는 신경망 아키텍처이다. 2023년 2월 스탠퍼드 대학의 Lvmin Zhang, Anyi Rao, Maneesh Agrawala가 발표한 논문에서 소개되었으며, 사용자는 텍스트 프롬프트와 함께 인간 포즈 골격, Canny 엣지 맵, 깊이 맵, 또는 대략적인 스케치 같은 보조 입력을 제공함으로써 생성된 이미지의 구조를 내용뿐만 아니라 제어할 수 있게 되었다. ControlNet 이전에는 확산 모델이 구도 제어를 위해 프롬프트 문구와 시드 선택을 통한 간접적인 방법만을 제공했지만, ControlNet은 구조적 제어를 직접적이고 신뢰할 수 있게 만들었다.
아키텍처
ControlNet은 사전 훈련된 확산 모델의 인코딩 레이어 가중치를 복제하여 훈련 가능한 복사본을 만들고, 원본 모델의 가중치는 고정한 채로 유지하는 방식으로 작동한다. 훈련 가능한 복사본은 조건화 이미지를 입력받아 "제로 컨볼루션" 레이어를 통해 고정된 네트워크에 다시 연결되는데, 이 레이어는 가중치가 0으로 초기화된 컨볼루션 레이어로서 훈련 초기에는 추가된 분기가 기본 모델의 출력에 아무런 영향을 미치지 않는다. 훈련이 진행되면서 네트워크는 기본 모델이 더 큰 사전 훈련 데이터셋에서 이미 학습한 내용을 파괴적으로 망각하지 않으면서 조건화 신호를 존중하는 방법을 점진적으로 학습한다. 기본 모델이 고정되어 있기 때문에 단일 ControlNet 모듈은 비교적 작은 작업별 데이터셋으로 훈련할 수 있으면서도 기본 확산 모델의 전체 생성 능력을 그대로 상속받는다. 또한 각각 다른 유형의 조건화에 특화된 여러 ControlNet 모듈을 결합하여 복합적인 구조적 제어를 수행할 수도 있다.
조건화 유형
ControlNet은 여러 조건화 모드를 지원하며, 각 모드는 고유한 훈련된 모듈을 필요로 한다. 인간 포즈 제어에는 OpenPose 골격이 사용되고, 윤곽선 기반 제어에는 Canny 엣지 감지가 사용된다. 깊이 맵은 공간적 배치 제어에, 건축 및 실내 장면에는 허프 선 감지가 사용된다. 또한 의미론적 분할 맵, 법선 맵, 그리고 대략적인 스케치나 낙서 입력도 지원된다. 이러한 다양한 조건화 유형 덕분에 ControlNet은 일관된 자세로 캐릭터를 배치하는 일러스트레이션 작업부터 대략적인 낙서를 완성된 이미지로 변환하면서 작가의 의도된 구도를 보존하는 작업까지 폭넓은 워크플로우에서 유용하게 활용된다.
채택과 영향
ControlNet은 사전 훈련된 가중치와 함께 오픈소스 코드로 공개되었으며, Stable Diffusion 1.5와 호환되었다. 이는 허깅 페이스 생태계에 인접한 오픈소스 이미지 생성 커뮤니티에서 빠르게 채택되었고, Automatic1111의 Stable Diffusion WebUI 및 ComfyUI와 같은 인터페이스의 표준 구성 요소가 되었다. ControlNet의 등장은 확산 모델의 실용적이고 생산 지향적인 사용에 있어 전환점으로 자주 언급되는데, 이는 텍스트 프롬프트만으로는 작가와 디자이너가 구도를 충분히 제어할 수 없다는 핵심적인 불만을 해결했기 때문이다. 이후 ControlNet 스타일의 조건화 기법은 Stable Diffusion XL을 포함한 새로운 기본 모델들을 위해 재구현되고 확장되었으며, 미드저니와 플럭스 같은 후속 상용 시스템이 구조적 안내에 접근하는 방식에도 영향을 미쳤다. 비록 이러한 시스템들이 서로 다른 메커니즘을 사용하지만, ControlNet의 영향력은 분명하다.
평가
ControlNet은 컴퓨터 비전 및 생성형 AI 연구 커뮤니티 내에서 전체 재훈련 없이 기존 기반 모델의 기능을 확장할 수 있는 중요하고 비용 효율적인 방법으로 널리 인정받았다. 특히 제로 컨볼루션 기법은 효율적인 조건화 및 어댑터 방법에 대한 후속 연구에 영향을 주었다. ControlNet은 이미지 생성뿐만 아니라 이후 텍스트-비디오 시스템 연구에서도 광범위하게 인용되는 참조 기준이 되었는데, 이러한 시스템들은 텍스트 프롬프트만으로는 명시할 수 없는 구조적 및 시간적 제어에 대한 유사한 요구에 직면해 있기 때문이다.