2014년 6월 이안 구드펠로우와 동료들이 발표한 GAN 논문은 Machine learning 프레임워크의 한 종류인 생성적 적대 신경망(GAN)의 개념을 소개했으며, 이는 Generative AI의 핵심이 되었다. 이 논문은 두 개의 신경망이 제로섬 게임에 참여하는 새로운 구조를 제안했는데, 한 네트워크는 합성 데이터를 생성하고 다른 네트워크는 그 진위를 평가하는 방식이다. 이러한 경쟁을 통해 시스템은 훈련 데이터셋의 근본적인 분포를 학습하고, 인간 관찰자에게 실제처럼 보이는 사진과 같은 유사한 새 샘플을 생성할 수 있다. 원래 비지도 학습의 한 형태로 구성되었지만, 이 프레임워크는 이후 준지도, 완전 지도, 그리고 Reinforcement learning 작업에도 적용 가능한 것으로 입증되었다.
GAN 논문의 핵심 혁신은 간접적인 훈련 메커니즘에 있다. 생성기 네트워크는 특정 예제에 대한 직접적인 거리를 최소화하지 않고, 대신 실제 입력과 합성 입력을 구별하는 능력을 동적으로 업데이트하는 두 번째 네트워크인 판별기를 속이는 법을 학습한다. 이러한 적대적 과정을 통해 모델은 명시적인 우도 모델링 없이 복잡한 통계적 패턴을 포착할 수 있다. 이 논문은 진화 생물학의 의태에 비유하며, 각 네트워크가 상대에 대응하여 지속적으로 개선되는 군비 경쟁을 설명했다.
수학적 공식화
원래 GAN은 확률 공간에 대한 게임으로 공식화된다. 공간 Ω에서 참조 분포 μ_ref가 주어지면, 생성기는 Ω에 대한 모든 확률 측도의 집합에서 확률 측도 μ_G를 선택하고, 판별기는 각 점을 [0,1]에 대한 확률 분포에 매핑하는 마르코프 커널 μ_D를 선택한다. 목적 함수는 실제 샘플에 대한 판별기 출력의 기대 로그 우도에 생성된 샘플에 대한 1에서 그 출력을 뺀 값의 기대 로그 우도를 더한 것으로 정의된다. 생성기는 이 목적을 최소화하고 판별기는 최대화하여 미니맥스 게임을 만든다. 생성기의 목표는 μ_G를 μ_ref에 근사시키는 것이며, 판별기는 참조 데이터에 대해 1에 가까운 값을, 생성된 데이터에 대해 0에 가까운 값을 출력하는 것을 목표로 한다.
실제 훈련 과정
실제로 생성기는 잠재 공간에서 후보 샘플을 생성하며, 일반적으로 다변량 정규 분포의 무작위 노이즈로 시작된다. 판별기는 알려진 훈련 데이터셋에 대해 이러한 후보를 평가하며, 처음에는 허용 가능한 정확도에 도달할 때까지 실제 샘플로 훈련된다. 두 네트워크는 독립적인 역전파 절차를 통해 업데이트된다: 생성기는 설득력 있는 샘플을 생성하는 능력을 향상시키고, 판별기는 합성 샘플을 식별하는 데 더 능숙해진다. 이미지 생성 작업의 경우, 생성기는 종종 디콘볼루션 구조를 사용하고 판별기는 컨볼루션 구조를 사용하여 Deep learning의 발전을 활용한다.
다른 방법과의 비교
GAN은 흐름 기반 생성 모델과 달리 우도 함수를 명시적으로 모델링하거나 샘플에서 잠재 변수로의 직접적인 매핑을 제공하지 않는 암시적 생성 모델 클래스에 속한다. WaveNet이나 PixelRNN과 같은 자기회귀 모델과 비교하여 GAN은 여러 순차적 패스를 요구하지 않고 단일 패스로 완전한 샘플을 생성할 수 있다. 또한 볼츠만 머신이나 선형 ICA와 달리 네트워크의 함수적 형태에 제한을 두지 않는다. 신경망은 보편 근사자이므로 GAN은 점근적으로 일관성이 있지만, 이 속성은 다른 생성 접근법과 공유된다.
영향과 유산
GAN 논문은 이후 Artificial intelligence 연구에 영향을 미친 기초 프레임워크를 확립했다. 그 적대적 훈련 패러다임은 이미지 합성에서 데이터 증강에 이르기까지 수많은 변형과 응용에 영감을 주었다. 이 개념은 또한 이후 Transformer (architecture) 기반 아키텍처와 같은 모델로 확장된 Generative AI의 광범위한 분야에 기여했다. 이 논문의 네트워크 간 경쟁 강조는 비지도 학습에 대한 새로운 관점을 제공했으며, 그 진화적 비유는 적응 시스템을 연구하는 연구자들에게 공감을 얻었다. 2026년 현재 GAN은 여전히 널리 연구되는 접근법이지만, 빠르게 진화하는 생성 모델링 환경에서 더 새로운 방법이 등장했다.