VQGAN+CLIP은 Generative AI 분야의 기법으로, 벡터 양자화 생성적 적대 신경망(VQGAN)과 CLIP 모델을 결합하여 텍스트 설명으로부터 이미지를 생성한다. 이 기법은 2021년 초에 제로샷 텍스트-이미지 생성의 주목할 만한 사례로 등장했으며, 새로운 모델을 처음부터 훈련하는 대신 사전 훈련된 구성 요소를 활용했다. 이 방법은 양식화되고 종종 초현실적인 이미지를 생성하는 능력으로 예술가와 연구자들 사이에서 인기를 얻었으며, 이후의 대규모 확산 모델보다 앞섰다.
이 접근법은 Katherine Crowson과 오픈소스 커뮤니티의 다른 사람들에 의해 소개되었으며, 하이델베르크 대학의 Patrick Esser, Robin Rombach, Björn Ommer가 개발한 VQGAN 모델과 2021년 1월 OpenAI가 출시한 CLIP 모델을 기반으로 한다. VQGAN+CLIP은 VQGAN의 잠재 공간에서 이미지를 반복적으로 최적화하여 이미지와 주어진 텍스트 프롬프트 간의 유사성을 CLIP의 대조적 임베딩으로 측정하여 최대화한다. 이 최적화는 경사 하강법을 사용하여 수행되며, 일반적으로 Adam (Optimizer) 또는 유사한 변형을 사용하고, 출력 품질을 개선하기 위해 Data Augmentation과 같은 기법을 자주 통합한다.
메커니즘
핵심 메커니즘은 두 개의 사전 훈련된 Neural network 구성 요소를 포함한다. VQGAN은 시각적 토큰의 이산 코드북을 학습하는 생성 모델로, 이미지를 압축하고 재구성할 수 있다. CLIP은 Transformer (architecture) 기반 모델로, 이미지와 텍스트를 공유 임베딩 공간으로 인코딩하여 의미적으로 유사한 쌍이 가깝게 위치한다. 이미지를 생성하기 위해 시스템은 무작위 잠재 코드를 초기화한 다음, VQGAN을 통해 반복적으로 디코딩하여 이미지를 생성하고, 해당 이미지와 프롬프트 간의 CLIP 유사성을 계산하며, 기울기를 역전파하여 잠재 코드를 업데이트한다. 이 과정은 종종 'CLIP 유도 합성'이라고 불리며, 수백 또는 수천 번의 반복으로 수행된다.
주요 변형은 ImageNet과 같은 특정 데이터셋으로 훈련된 VQGAN을 사용하며, 이는 출력의 스타일과 내용에 영향을 미친다. 최적화는 일반적으로 픽셀 공간보다는 잠재 공간에서 수행되며, 이는 계산 효율적이고 더 부드러운 기울기를 허용한다. 많은 구현은 또한 코사인 유사성과 총 변동 손실과 같은 추가 정규화 항을 결합한 'CLIP 손실'이라는 기법을 사용하여 일관된 이미지를 장려한다.
역사적 맥락
VQGAN+CLIP은 CLIP 출시와 VQGAN에 대한 초기 연구 이후인 2021년 봄에 두각을 나타냈다. 이는 전용 조건부 모델을 훈련하지 않고도 고품질 텍스트-이미지 생성을 달성할 수 있음을 보여준 최초의 방법 중 하나였으며, 기존 구성 요소를 재사용했다. 이는 대규모 쌍 데이터셋과 광범위한 훈련이 필요했던 AttnGAN이나 StackGAN과 같은 초기 접근법과 대조되었다. 이 방법은 단일 소비자 GPU에서 실행될 수 있는 접근성 덕분에 Twitter와 Reddit과 같은 온라인 커뮤니티에서 빠르게 채택되었으며, 사용자들은 생성된 예술 작품을 공유했다.
이 기법은 또한 이후 연구에 영향을 미쳤다. 이는 DALL-E 2와 Stable Diffusion과 같은 후속 모델의 선구자였으며, 이 모델들은 CLIP을 안내에 사용하는 유사한 아이디어를 채택했지만 VQGAN을 확산 모델로 대체했다. VQGAN+CLIP의 반복 최적화 의존성은 피드포워드 생성기보다 느렸지만, 프롬프트 엔지니어링과 매개변수 조정을 통해 세밀한 제어를 제공했다.
응용 및 한계
주요 응용 분야는 예술 창작, 컨셉 아트, 밈 생성이었다. 예술가들은 텍스트 프롬프트에서 시각적 아이디어를 탐구하는 데 사용했으며, 종종 여러 프롬프트를 결합하거나 특정 측면을 강조하기 위해 '프롬프트 가중치'를 사용했다. 또한 인터랙티브 설치와 창의적 코딩 도구로도 사용되었다. 그러나 이 방법에는 주목할 만한 한계가 있었다: 출력은 종종 저해상도(일반적으로 256x256 픽셀)였고, 아티팩트가 발생하기 쉬웠으며, 실행 간에 일관성이 없을 수 있었다. 최적화 과정은 지역 최솟값에 갇혀 반복적이거나 무의미한 이미지를 생성할 수 있었다. 또한 학습률, 반복 횟수, 증강 강도와 같은 하이퍼파라미터를 신중하게 조정해야 했다.
이후의 Diffusion model 기반 시스템과 비교할 때, VQGAN+CLIP은 미세한 세부 사항을 가진 사실적인 이미지를 생성하는 능력이 부족했다. 그 강점은 추상적이고 회화적이며 꿈같은 결과를 생성하는 데 있었으며, 많은 사용자가 미학적으로 매력적이라고 생각했다. 이 방법은 또한 각 생성이 전체 최적화 루프를 필요로 했기 때문에 이미지당 상대적으로 높은 계산 비용이 들었다.
유산
VQGAN+CLIP은 2021-2022년 동안 Generative AI의 급속한 진화에서 획기적인 사건으로 간주된다. 이는 새로운 작업을 위해 대규모 사전 훈련 모델을 결합하는 힘을 보여주었으며, 이 패러다임은 Machine learning 연구의 중심이 되었다. 2022년까지 확산 모델에 의해 대부분 대체되었지만, 역사적으로 중요하며 독특한 미학으로 인해 틈새 응용 분야에서 여전히 사용된다. Katherine Crowson과 Ryan Murdock의 것과 같은 오픈소스 구현은 보관되어 있으며 학술 문헌에서 계속 참조된다.
이 기법은 또한 OpenAI의 CLIP이 원래 분류 목적을 넘어 다재다능한 도구로서의 중요성을 강조했으며, 이후 이미지 편집 및 검색 작업에 영향을 미쳤다. 이는 제로샷 학습과 기반 모델 재사용의 광범위한 추세에 기여했으며, 이는 이후 Artificial intelligence 연구의 지배적인 주제가 되었다.
기술적 세부 사항
일반적인 VQGAN+CLIP 구현은 16384의 코드북 크기와 256의 잠재 차원을 가진 VQGAN을 사용하며, ImageNet에서 256x256 해상도로 훈련된다. 사용되는 CLIP 모델은 일반적으로 ViT-B/32 또는 ViT-B/16이며, 이미지를 512차원 임베딩으로 인코딩한다. 최적화 루프는 50에서 500회 반복되며, 잠재 공간에서 학습률은 약 0.1이다. 무작위 자르기와 뒤집기와 같은 데이터 증강은 CLIP 손실을 계산하기 전에 디코딩된 이미지에 적용되어 특정 픽셀 패턴에 대한 과적합을 줄인다. 일부 구현은 여러 무작위 자르기를 평가하고 평균화하는 '컷아웃' 기법을 사용한다. 최종 이미지는 최적화된 잠재 코드에서 디코딩되며 별도의 방법으로 업스케일링할 수 있다.
인기 있는 'CLIP Guided Diffusion' 및 'VQGAN-CLIP' 노트북을 포함한 여러 소프트웨어 패키지가 이 방법을 쉽게 사용할 수 있게 했다. 여기에는 반복에 따라 텍스트 프롬프트가 변경되는 프롬프트 스케줄링과 시작 이미지에서 생성을 안내하는 '초기 이미지'와 같은 기능이 자주 포함되었다. 이 방법의 유연성과 낮은 진입 장벽은 광범위한 채택의 핵심이었다.