논문 "생성적 적대 신경망"은 2014년 6월 이안 굿펠로우와 그의 동료들에 의해 발표되었다. 이 논문은 생성적 적대 신경망(GAN)이라고 불리는 새로운 종류의 머신 러닝 프레임워크를 소개했으며, 이후 이는 생성적 인공 지능의 주요 접근 방식이 되었다. 핵심 아이디어는 생성기와 판별기라는 두 개의 신경망이 제로섬 게임에서 경쟁하는 것으로, 한 에이전트의 이득은 다른 에이전트의 손실이 된다. 훈련 세트가 주어지면 GAN은 훈련 세트와 동일한 통계를 가진 새로운 데이터를 생성하는 법을 학습한다. 예를 들어, 사진으로 훈련된 GAN은 인간 관찰자에게 진짜처럼 보이는 새로운 사진을 생성할 수 있다. 원래 비지도 학습을 위한 생성 모델의 한 형태로 제안되었지만, GAN은 반지도 학습, 완전 지도 학습 및 강화 학습에도 유용함이 입증되었다.
이 개념은 진화 생물학의 모방과 유사성을 그리며, 두 네트워크 사이의 진화적 군비 경쟁을 설명한다. 생성기의 임무는 실제 데이터와 구별할 수 없는 샘플을 생성하는 것이고, 판별기의 임무는 실제 샘플과 생성된 샘플을 구별하는 것이다. 이 역학은 생성기가 특정 이미지에 대한 고정된 거리를 최소화하도록 훈련되는 것이 아니라 판별기를 속이도록 훈련되기 때문에 모델이 비지도 방식으로 학습할 수 있게 한다.
수학적 프레임워크
원래 GAN은 두 플레이어 간의 게임으로 정의된다. 각 확률 공간 (Ω, μ_ref)은 GAN 게임을 정의한다. 생성기의 전략 집합은 Ω에 대한 모든 확률 측도 μ_G의 집합이고, 판별기의 전략 집합은 마르코프 커널 μ_D: Ω → P[0,1]의 집합이며, 여기서 P[0,1]은 [0,1]에 대한 확률 측도의 집합이다. GAN 게임은 제로섬이며, 목적 함수 L(μ_G, μ_D) = E_{x∼μ_ref, y∼μ_D(x)}[ln y] + E_{x∼μ_G, y∼μ_D(x)}[ln(1-y)]를 가진다. 생성기는 이 목적을 최소화하는 것을 목표로 하고, 판별기는 이를 최대화하는 것을 목표로 한다. 생성기의 목표는 μ_ref를 근사하여 출력 분포를 참조 분포와 일치시키는 것이다. 판별기는 참조 분포에서 온 입력에 대해 1에 가까운 값을 출력하고 생성기에서 온 입력에 대해 0에 가까운 값을 출력한다.
훈련 과정
실제로 생성 네트워크는 후보를 생성하고 판별 네트워크는 이를 평가한다. 이는 데이터 분포에 기반한 경쟁을 만든다. 생성기는 잠재 공간에서 실제 데이터 분포로 매핑하는 법을 학습하며, 판별기가 실제 데이터와 구별할 수 없는 후보를 생성하는 것을 목표로 한다. 판별기의 목표는 이러한 후보를 정확히 식별하는 것이지만, 생성기가 개선됨에 따라 판별기의 임무는 더 어려워지고 오류율이 증가한다.
알려진 데이터 세트는 판별기의 초기 훈련 데이터로 사용된다. 훈련은 훈련 데이터 세트의 샘플을 제시하여 허용 가능한 정확도에 도달할 때까지 진행된다. 생성기는 판별기를 속이는 데 성공하는지 여부에 따라 훈련된다. 일반적으로 생성기는 다변량 정규 분포와 같은 사전 정의된 잠재 공간에서 샘플링된 무작위 입력으로 시드된다. 그 후 생성기에 의해 합성된 후보는 판별기에 의해 평가된다. 독립적인 역전파 절차가 두 네트워크 모두에 적용되므로 생성기는 더 나은 샘플을 생성하고 판별기는 합성 샘플을 플래그 지정하는 데 더 능숙해진다. 이미지 생성에 사용될 때 생성기는 일반적으로 역컨볼루션 신경망이고 판별기는 컨볼루션 신경망이다.
다른 방법과의 관계
GAN은 암시적 생성 모델로, 우도 함수를 명시적으로 모델링하지 않으며 주어진 샘플에 해당하는 잠재 변수를 찾는 수단을 제공하지 않는다. 이는 흐름 기반 생성 모델과 같은 대안과 다르다. WaveNet 및 PixelRNN과 같은 완전히 보이는 신뢰 네트워크 및 일반적인 자기 회귀 모델과 비교할 때, GAN은 네트워크를 통한 여러 번의 패스가 아닌 단일 패스로 하나의 완전한 샘플을 생성할 수 있다. 볼츠만 머신 및 선형 ICA와 비교할 때 네트워크가 사용하는 함수 유형에 제한이 없다. 신경망은 보편적 근사자이므로 GAN은 점근적으로 일관적이다. 2026년 현재 변분 오토인코더는 보편적 근사자로 입증되었지만, GAN은 여전히 독특하고 영향력 있는 프레임워크로 남아 있다.
영향과 유산
2014년 논문은 딥 러닝 및 머신 러닝의 방대한 연구와 응용의 기초를 마련했다. GAN은 이미지 생성, 스타일 전이, 데이터 증강 등에 사용되었다. 적대적 훈련 패러다임은 적대적 견고성 및 AI 피드백 기반 강화 학습을 포함한 다른 영역에도 영향을 미쳤다. 이 논문의 저자들인 이안 굿펠로우, 요슈아 벤지오, 아론 쿠빌은 당시 토론토 대학교에 소속되어 있었다. 이 연구는 수만 번 인용되었으며 인공 지능에 대한 기념비적인 기여로 간주된다.
도전 과제와 발전
초기 GAN은 훈련 불안정성과 생성기가 제한된 다양성을 생성하는 모드 붕괴와 같은 문제에 직면했다. 이후 연구는 배치 정규화, 드롭아웃 및 개선된 손실 함수와 같은 기술을 도입하여 이러한 문제를 완화했다. DCGAN, StyleGAN 및 CycleGAN과 같은 변형이 이 분야를 발전시켰다. 적대적 원리는 이미지 생성 외에도 대규모 언어 모델 및 기타 신경망 아키텍처에 적용되었다. 이 논문의 영향은 산업계로 확장되어 OpenAI 및 구글 딥마인드와 같은 기업이 생성 AI 연구에서 GAN 관련 아이디어를 기반으로 구축하고 있다.