VQGAN(벡터 양자화 생성적 적대 신경망)은 고해상도 이미지 합성을 위해 설계된 생성적 신경망 아키텍처의 한 부류이다. 이는 벡터 양자화(VQ)의 이산 잠재 표현 학습과 생성적 적대 신경망(GAN)의 지각 품질 개선을 결합한다. 2021년 하이델베르크 대학교와 IWR의 패트릭 에서, 로빈 롬바흐, 비외른 오머가 발표한 논문에서 소개된 VQGAN은 이후 텍스트-이미지 모델, 특히 Stable Diffusion에 사용된 잠재 확산 모델의 기초 구성 요소가 되었다.
VQGAN의 핵심 아이디어는 훈련 이미지에서 시각적 특징의 압축된 이산 코드북을 학습하는 것이다. 인코더 네트워크는 입력 이미지를 이 코드북의 인덱스 시퀀스로 매핑하고, 디코더는 해당 인덱스에서 이미지를 재구성한다. GAN 판별기는 인코더와 디코더와 함께 훈련되어 재구성된 이미지가 실제 이미지와 지각적으로 구별할 수 없도록 보장하며, 사전 훈련된 네트워크(예: VGG)에 기반한 지각 손실은 충실도를 더욱 향상시킨다. 이 접근 방식은 VQGAN이 1024x1024 픽셀 이상의 해상도로 이미지를 생성할 수 있게 하며, 이는 VQ-VAE와 같은 초기 모델에게는 어려운 과제였다.
아키텍처 및 훈련
VQGAN 아키텍처는 인코더, 디코더, 학습 가능한 벡터의 코드북이라는 세 가지 주요 구성 요소로 이루어진다. 인코더는 입력 이미지를 잠재 코드의 공간 그리드로 다운샘플링하며, 각 코드는 가장 가까운 코드북 항목으로 양자화된다. 디코더는 이러한 코드를 이미지 공간으로 업샘플링한다. 훈련은 재구성 손실(L2), 지각 손실, 그리고 인코더 출력이 코드북 항목에 가깝게 유지되도록 장려하는 커밋먼트 손실의 조합을 최소화한다. 일반적으로 PatchGAN인 GAN 판별기는 실제 이미지와 재구성된 이미지를 구별하도록 적대적으로 훈련되어 디코더가 더 선명한 세부 사항을 생성하도록 유도한다.
주요 혁신은 Transformer와 같은 트랜스포머 모델을 사용하여 양자화된 코드의 시퀀스를 모델링한 것이다. 이산 코드를 토큰으로 취급함으로써 트랜스포머는 전역 의존성을 학습하고 자동 회귀 방식으로 새로운 이미지를 생성할 수 있어 일관된 대규모 구조를 가능하게 했다. 이 하이브리드 접근 방식 - 트랜스포머 사전 분포를 갖춘 합성곱 인코더/디코더 - 은 VQGAN이 로컬 질감과 전역 맥락을 모두 포착할 수 있게 했다.
잠재 확산에서의 응용
VQGAN의 가장 영향력 있는 응용은 잠재 확산 모델로의 통합을 통해 이루어졌다. 2022년 논문 "고해상도 이미지 합성과 잠재 확산 모델"에서 롬바흐와 동료들은 VQGAN 스타일의 오토인코더를 사용하여 이미지를 저차원 잠재 공간으로 압축했다. 그런 다음 확산 모델은 원시 픽셀 대신 이러한 잠재 표현에 대해 작동하여 계산 비용을 크게 줄이면서 이미지 품질을 유지했다. 이 아키텍처는 널리 사용되는 오픈소스 텍스트-이미지 시스템인 Stable Diffusion의 기초가 되었다. 이러한 모델의 VQGAN 구성 요소는 Stable Diffusion 생태계에서 종종 "VAE"(변분 오토인코더)로 불리지만, 벡터 양자화 설계를 유지한다.
다른 생성 모델과의 비교
StyleGAN과 같은 순수 GAN이 노이즈 벡터에서 직접 이미지를 생성하는 반면, VQGAN은 조작하고 편집할 수 있는 이산 잠재 표현을 생성한다. 이 속성은 이미지 인페인팅, 초해상도, 의미론적 합성과 같은 작업에 적합하게 만든다. VQ-VAE와 비교하여 VQGAN은 적대적 및 지각 손실을 추가하여 출력의 선명도와 사실감을 크게 향상시킨다. 그러나 VQGAN의 코드북 및 트랜스포머 사전 분포에 대한 의존성은 더 단순한 오토인코더보다 훈련을 더 복잡하고 계산 집약적으로 만든다.
유산 및 영향
VQGAN은 딥러닝 및 인공지능 분야, 특히 생성 모델링 분야의 후속 연구에 영향을 미쳤다. 이산 잠재 공간 개념은 다양한 다중 모달 모델에서 채택되었으며 시각적 토큰을 통합하는 대규모 언어 모델의 개발에 기여했다. 코드와 사전 훈련된 모델은 공개적으로 출시되어 광범위한 실험을 가능하게 했다. 2025년 현재 VQGAN은 이미지 생성에서 이산 및 연속 잠재 표현 간의 절충점을 이해하기 위한 기준점으로 남아 있으며, 그 원리는 더 넓은 머신러닝 커뮤니티의 새로운 아키텍처에 계속 영향을 주고 있다.
한계
강점에도 불구하고 VQGAN은 알려진 한계가 있다. 코드북 크기와 차원은 신중한 조정이 필요하다. 코드북이 너무 작으면 세부 사항이 손실되고, 너무 크면 메모리 사용량이 증가한다. 트랜스포머 사전 분포는 특히 고해상도 이미지의 경우 샘플링 속도가 느릴 수 있다. 또한 모델은 균일한 영역의 흐림이나 반복 패턴과 같은 아티팩트를 나타낼 수 있으며, 특히 코드북의 표현력이 충분하지 않을 때 그렇다. 이러한 문제는 일부 확산 모델에서 볼 수 있듯이 연속 잠재 표현으로 이동하는 후속 접근 방식을 촉진했다.