생성 모델은 주어진 데이터셋의 확률 분포를 학습하고, 그 학습된 분포를 사용하여 새롭고 그럴듯한 데이터 포인트를 생성하는 기계 학습 모델의 한 부류이다. 클래스 간의 경계를 그리는 데 초점을 맞추는 판별 모델과 달리, 생성 모델은 데이터 자체의 근본적인 구조와 통계적 패턴을 포착하는 것을 목표로 한다. 이러한 능력은 생성형 AI의 많은 부분을 뒷받침하며, 시스템이 훈련 데이터와 유사한 새로운 텍스트, 이미지, 오디오 및 기타 콘텐츠를 만들 수 있게 한다. 생성 모델은 대규모 언어 모델 및 이미지 합성 도구를 포함한 현대 딥러닝 응용 프로그램의 기초가 된다.
이 개념은 가우시안 혼합 모델과 은닉 마르코프 모델과 같은 모델이 시퀀스를 생성하는 데 사용된 고전 통계학에 뿌리를 두고 있다. 그러나 생성 모델링의 현대 시대는 신경망의 부상과 함께 시작되었으며, 이를 통해 모델이 복잡하고 고차원적인 분포를 학습할 수 있게 되었다. 주요 이정표로는 2013년 변분 오토인코더(VAE)와 2014년 생성적 적대 신경망(GAN)의 도입이 있으며, 둘 다 생성의 실용적 범위를 확장했다. 더 최근에는 트랜스포머 아키텍처와 확산 모델의 개발이 텍스트 및 이미지 생성의 돌파구를 이끌어 산업 전반에 걸쳐 광범위한 채택을 가져왔다.
핵심 원리 및 유형
생성 모델은 확률 분포를 표현하고 샘플링하는 방식에 따라 크게 분류할 수 있다. 한 가지 일반적인 접근 방식은 우도 기반으로, 모델이 데이터에 대한 확률 분포를 명시적으로 정의하고 관찰된 샘플의 우도를 최대화하여 훈련한다. 예로는 이전 요소가 주어졌을 때 다음 요소를 예측하여 데이터를 순차적으로 생성하는 자기회귀 모델과, 단순한 분포를 복잡한 분포로 매핑하기 위해 가역 변환을 사용하는 정규화 흐름이 있다.
또 다른 주요 계열은 암시적 생성 모델로, 우도를 명시적으로 정의하지 않고 적대적 훈련을 통해 샘플을 생성하는 방법을 학습한다. Ian Goodfellow와 동료들이 도입한 GAN은 샘플을 생성하는 생성기 네트워크와 실제 데이터와 가짜 데이터를 구별하는 판별기 네트워크로 구성되며, 두 네트워크는 경쟁 과정에서 훈련된다. 2020년대에 두각을 나타낸 확산 모델은 데이터에 점진적으로 노이즈를 추가한 다음 이 과정을 역전시키는 방법을 학습하여 고충실도 생성을 가능하게 한다. 각 유형은 훈련 안정성, 샘플 품질 및 계산 비용 측면에서 장단점이 있다.
다양한 분야에서의 응용
생성 모델은 자연어 처리에서 광범위하게 사용된다. OpenAI, Anthropic 및 Google DeepMind에서 개발한 것과 같은 대규모 언어 모델은 방대한 텍스트 말뭉치로 훈련된 자기회귀 생성 모델이다. 이들은 챗봇, 콘텐츠 생성 및 코드 생성과 같은 응용 프로그램을 지원한다. 이러한 모델은 다중 헤드 어텐션 및 위치 인코딩과 같은 메커니즘을 사용하여 시퀀스를 효과적으로 처리하는 트랜스포머 아키텍처에 의존한다.
컴퓨터 비전에서 생성 모델은 이미지 초해상도, 인페인팅 및 스타일 전송과 같은 작업을 가능하게 한다. 원래 생의학 이미지 분할을 위해 설계된 U-Net 아키텍처는 확산 기반 이미지 생성에 적응되었다. 생성 모델은 또한 다른 기계 학습 시스템의 견고성을 향상시키기 위해 합성 샘플을 생성하는 데이터 증강을 지원한다. 오디오 분야에서는 음성과 음악을 합성하여 가상 비서 및 엔터테인먼트에 응용된다.
훈련 및 과제
생성 모델을 훈련하는 것은 계산 집약적이며 종종 특수 하드웨어가 필요하다. NVIDIA 및 AMD와 같은 회사는 딥러닝의 핵심인 행렬 연산을 가속화하는 GPU를 생산한다. Amazon Web Services, Azure 및 Google Cloud를 포함한 클라우드 제공업체는 대규모 모델 훈련을 위한 확장 가능한 인프라를 제공한다. 배치 정규화, 레이어 정규화 및 드롭아웃과 같은 기술은 훈련을 안정화하는 데 도움이 되며, Adam 옵티마이저 및 SGD 변형과 같은 옵티마이저가 일반적으로 사용된다.
주요 과제는 모델이 제한된 다양성의 출력을 생성하여 전체 데이터 분포를 포착하지 못하는 모드 붕괴이다. 이는 특히 GAN에서 두드러진다. 또 다른 문제는 생성 품질 평가로, 손실 함수와 같은 전통적인 지표가 항상 인간의 인식과 상관관계가 있지는 않다. 연구자들은 이미지에 대해 Fréchet Inception Distance(FID), 텍스트에 대해 혼란도와 같은 지표를 사용하지만 이러한 지표에는 한계가 있다. 다양성과 충실도를 동시에 보장하는 것은 여전히 활발한 연구 분야이다.
최근 개발 및 향후 방향
최근 발전은 모델 확장과 효율성 개선에 초점을 맞추고 있다. 확산 모델은 이미지 생성에서 최첨단이 되었으며, Stable Diffusion 및 DALL-E와 같은 시스템은 놀라운 능력을 입증했다. 텍스트 분야에서는 교차 어텐션 및 인코더-디코더 설계와 같은 혁신으로 트랜스포머 아키텍처가 발전하여 입력과 출력 간의 더 나은 정렬을 가능하게 했다. Top-K 샘플링, Top-P 샘플링 및 온도 스케일링과 같은 기술은 생성된 텍스트의 무작위성을 제어하여 창의성과 일관성의 균형을 맞춘다.
MIT CSAIL, Stanford AI Lab 및 Berkeley AI Research를 포함한 연구 기관은 이론적 기초와 새로운 아키텍처를 계속 탐구하고 있다. 생성 모델을 더 해석 가능하고 제어 가능하게 만드는 데 대한 관심이 증가하고 있으며, AI 피드백 기반 강화 학습과 같은 방법이 출력을 인간의 선호도에 맞추는 데 사용된다. 모델 가지치기 및 데이터 증강과 같은 효율성 개선은 훈련의 환경적 및 재정적 비용을 줄이는 것을 목표로 한다. 생성 모델이 더 강력해짐에 따라 일상적인 도구에 대한 통합은 확장될 가능성이 높으며, 진위성, 편향 및 윤리적 사용에 관한 중요한 질문을 제기한다.