Self-Attention GAN(SAGAN)은 2018년 Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena가 소개한 생성적 적대 신경망 아키텍처입니다. 이는 표준 GAN 프레임워크를 향상시켜 자기 주의(self-attention) 메커니즘을 통합하며, 이를 통해 생성기와 판별기가 이미지의 먼 영역 간 관계를 모델링할 수 있게 합니다. 국소 이웃을 처리하는 합성곱 계층과 달리, SAGAN의 주의 모듈은 전체 공간 범위에 걸친 특징의 가중 합으로 응답을 계산하여, 이미지 합성과 같은 작업에서 장거리 의존성을 포착하는 합성곱 GAN의 한계를 해결합니다.
이 아키텍처는 트랜스포머와 멀티 헤드 주의에 대한 이전 연구를 기반으로 하며, 이러한 메커니즘을 이미지 생성에 적응시킵니다. SAGAN은 128x128 해상도의 ImageNet 데이터셋에서 최첨단 결과를 입증했으며, Inception Score 52.52와 Fréchet Inception Distance 18.65를 달성했습니다. 이 모델은 또한 생성기와 판별기 모두에 스펙트럼 정규화를 도입하여 훈련 안정성을 개선했고, 적대적 훈련을 위해 힌지 손실 목적 함수를 사용했습니다.
이미지 생성에서의 주의 메커니즘
SAGAN의 핵심 혁신은 이미지 특징에 자기 주의를 적용하는 것입니다. 이 기술은 신경망에서 시퀀스 모델링에 사용되는 멀티 헤드 주의에서 영감을 얻었지만, 2차원 공간 데이터에 맞게 적응되었습니다. 생성기에서 주의 모듈은 특정 합성곱 블록 뒤에 배치되어, 모델이 얼굴의 눈 정렬이나 장면 전반의 질감 일관성과 같은 전역 관계를 학습할 수 있게 합니다. 주의 출력은 특징 값의 가중 평균으로 계산되며, 가중치는 쿼리와 키 특징 벡터 간의 내적에서 파생되고 학습 가능한 매개변수로 조정됩니다.
저자들은 주의 계층이 순수 합성곱 아키텍처에 비해 생성된 샘플의 충실도와 다양성을 모두 향상시킨다는 것을 입증했습니다. 또한 주의 정규화(Attention Regularization)라는 기법을 제안했는데, 이는 주의 맵이 채널 간에 다양하도록 장려하여 모델이 사소한 패턴으로 붕괴되는 것을 방지합니다.
훈련 안정성과 스펙트럼 정규화
이 모델은 생성기에 배치 정규화를, 판별기에 계층 정규화를 통합하지만, 더 중요하게는 두 네트워크의 모든 계층에 스펙트럼 정규화를 적용합니다. 스펙트럼 정규화는 2018년 Takeru Miyato 등이 GAN을 위해 처음 도입한 것으로, 각 가중치 행렬의 스펙트럼 노름을 정규화하여 네트워크의 Lipschitz 상수를 제한합니다. 이 안정화 기법은 SAGAN이 더 높은 학습률로 훈련하고, GAN의 일반적인 실패 모드인 모드 붕괴를 줄일 수 있게 합니다.
저자들은 또한 판별기에 힌지 손실을 사용하고 Adam 최적화기에 대해 두 배율 업데이트 규칙(TTUR)을 적용하여 생성기와 판별기의 학습률을 서로 다른 값으로 설정했습니다. 이러한 선택은 더 빠른 수렴과 향상된 샘플 품질에 기여했습니다.
ImageNet에서의 성능과 비교
SAGAN은 128x128 및 256x256 해상도의 ImageNet 데이터셋에서 평가되었으며, 다양한 클래스에 걸쳐 시각적으로 그럴듯한 샘플을 생성했습니다. 128x128에서 Inception Score 52.52를 달성했으며, 이는 Progressive GAN(43.20) 및 Spectral Normalization GAN(48.62)과 같은 이전 최첨단 모델에 비해 상당한 개선입니다. 이 모델은 또한 기준선에 비해 FID가 감소하여 실제 이미지와의 분포 유사성이 더 우수함을 나타냈습니다.
주의의 효과는 통제된 실험을 통해 입증되었으며, 주의 계층이 없는 모델은 특히 새와 개와 같은 복잡한 공간 구조를 가진 범주에서 덜 일관된 이미지를 생성했습니다. 결과는 자기 주의가 사실적인 질감과 객체 포즈를 생성하는 데 중요하다는 것을 시사했습니다.
영향과 후속 연구
SAGAN은 생성형 AI 및 이미지 합성 분야의 후속 연구에 영향을 미쳤습니다. 그 주의 메커니즘은 BigGAN에서 채택되었으며, BigGAN은 SAGAN의 아키텍처를 더 큰 배치 크기와 클래스 조건부 훈련과 결합하여 더 높은 이미지 품질을 달성했습니다. 생성기에서 주의를 사용하는 아이디어는 또한 현대 잡음 제거 네트워크에서 주의 계층이 표준인 확산 모델에 대한 후속 연구에 정보를 제공했습니다.
이 논문은 2019년 국제 기계 학습 컨퍼런스(ICML)에서 발표되었으며 널리 인용되었습니다. 이는 원래 시퀀스-투-시퀀스 작업을 위해 개발된 주의 메커니즘이 공간 영역으로 효과적으로 전이될 수 있다는 더 넓은 이해에 기여했습니다.
한계와 계산적 고려 사항
자기 주의 계층은 공간 해상도에 대해 이차 계산 복잡성을 가지므로 고해상도 이미지에 비용이 많이 듭니다. SAGAN의 실험은 메모리 제약으로 인해 256x256 해상도로 제한되었습니다. 후속 연구는 희소 또는 분해 주의와 같은 효율적인 주의 변형을 제안하여 이러한 확장성 문제를 해결했습니다. 또한 SAGAN은 전역 일관성을 개선했지만 복잡한 장면의 세부 사항에서는 여전히 어려움을 겪었으며, 이는 최신 아키텍처가 부분적으로 극복한 한계입니다.
이러한 어려움에도 불구하고 SAGAN은 딥러닝 비전 분야의 기초적 기여로 남아 있으며, 주의가 합성곱 연산을 보완하여 더 강력한 생성 모델을 달성할 수 있음을 입증했습니다.