생성적 적대 신경망(GAN)은 두 개의 기계 학습 모델, 즉 생성기와 판별기가 서로 대립적으로 함께 훈련되는 신경망 모델의 한 부류입니다. 생성기는 판별기를 속일 만큼 현실적인 합성 데이터를 생성하려고 시도하는 반면, 판별기는 생성기의 가짜 출력을 실제 예시와 올바르게 구별하려고 시도합니다. 훈련은 적대적 게임으로 진행되며, 한 네트워크의 개선이 다른 네트워크를 차례로 개선하도록 유도하고, 이상적으로는 매우 현실적인 합성 데이터를 생성할 수 있는 생성기로 수렴합니다.
역사
GAN은 2014년 이안 굿펠로우와 몬트리올 대학의 동료들이 발표한 논문에서 소개되었으며, 생성 모델링에 대한 늦은 밤 논쟁 이후에 구상된 것으로 알려져 있습니다. 원래 공식은 단순한 이미지 데이터 세트에서 비교적 작은 네트워크를 훈련시켰지만, 아키텍처는 빠르게 개선되었습니다. 2015년 DCGAN은 이미지 생성을 위한 안정적인 합성곱 아키텍처를 확립했고, 2017년 Progressive GAN과 2018년 NVIDIA 연구원들이 출시하고 StyleGAN2와 StyleGAN3를 통해 개선된 StyleGAN은 "이 사람은 존재하지 않습니다"라는 공개 데모와 이후 딥페이크 미디어에 사용된 기술의 상당 부분을 구동할 만큼 설득력 있는 사실적인 인간 얼굴을 생성했습니다.
훈련 방식
생성기는 무작위 노이즈를 입력으로 받아 합성 샘플로 변환하는 반면, 표준 분류기인 판별기는 실제 및 생성된 샘플의 혼합을 받아 각각을 올바르게 분류하도록 훈련됩니다. 생성기의 손실 함수는 판별기가 실제로 잘못 분류한 출력에 대해 보상을 제공하며, 두 네트워크는 경사 하강법을 통해 교대 단계로 업데이트됩니다. 원칙적으로 이 적대적 과정은 생성기의 출력 분포를 실제 데이터 분포와 일치하도록 유도하지만, 실제로 GAN 훈련은 악명 높을 정도로 불안정하고 모드 붕괴에 취약합니다. 모드 붕괴는 생성기가 실제 데이터의 전체 다양성보다 좁은 범위의 설득력 있는 출력만 생성하도록 학습하는 현상으로, 수년간의 아키텍처 및 손실 함수 연구의 동기가 되었습니다.
응용 분야
사실적인 얼굴 및 이미지 합성 외에도 GAN은 스케치를 사진으로 변환하거나 주간 사진을 야간 사진으로 변환하는 것과 같은 이미지 간 변환, 초해상도 업스케일링, 다른 모델 훈련을 위한 데이터 증강, 음성 변환에 사용되었습니다. 또한 실용적인 텍스트-이미지 시스템의 초기 아키텍처였으며, 이후 확산 모델에 크게 대체되었습니다. GAN 기반 합성은 딥페이크 미디어에 대한 우려의 중심에 있습니다. 설득력 있는 합성 얼굴을 생성하는 동일한 생성기 기술이 사진과 비디오에서 실제 사람을 사칭하는 데 사용될 수 있기 때문에, GAN 출력 탐지 및 AI 워터마킹에 대한 연구가 촉진되었습니다.
확산 모델 대비 쇠퇴
대략 2021년부터 확산 모델은 DALL-E, Stable Diffusion, Midjourney와 같은 시스템을 포함한 고품질 이미지 및 비디오 생성의 지배적인 접근 방식으로 GAN을 대체했습니다. 확산 훈련은 일반적으로 더 안정적이고 모드 붕괴를 피하며 더 큰 출력 다양성을 생성하기 때문입니다. GAN은 일반적으로 확산 모델의 많은 반복적 노이즈 제거 단계에 비해 단일 빠른 순방향 패스로 샘플을 생성하지만, 이러한 추론 속도 이점이 중요한 곳에서는 GAN이 여전히 활발히 사용되며, 핵심 적대적 훈련 원리는 순수 이미지 생성 너머의 손실 함수 설계에 계속 영향을 미치고 있습니다.