오토인코더는 레이블이 없는 데이터의 효율적인 코딩을 학습하는 데 사용되는 인공 신경망의 한 유형으로, 비지도 학습의 한 형태이다. 이는 두 가지 함수를 학습한다: 입력 데이터를 압축된 표현으로 변환하는 인코딩 함수와, 그 표현에서 원본 데이터를 재구성하는 디코딩 함수이다. 네트워크는 입력과 재구성 사이의 차이를 최소화하도록 훈련되며, 이를 통해 데이터의 본질적인 구조를 포착하는 저차원 임베딩을 학습한다. 이러한 임베딩은 차원 축소나 다른 머신러닝 알고리즘의 입력으로 자주 사용된다.
오토인코더에는 학습된 표현을 더 유용하게 만들기 위해 추가적인 제약을 부과하는 다양한 변형이 있다. 희소, 잡음 제거, 수축 오토인코더와 같은 정규화된 오토인코더는 분류 작업에 효과적이며, 변이형 오토인코더는 훈련 분포와 유사한 새로운 데이터 샘플을 생성할 수 있다. 응용 분야에는 얼굴 인식, 이상 탐지, 특징 검출, 단어 의미 학습이 포함된다.
수학적 원리
오토인코더는 공식적으로 두 집합으로 정의된다: 인코딩된 메시지 공간 \(\mathcal{Z}\)와 디코딩된 메시지 공간 \(\mathcal{X}\)로, 일반적으로 \(\mathcal{X} = \mathbb{R}^m\) 및 \(\mathcal{Z} = \mathbb{R}^n\)인 유클리드 공간이며 여기서 \(m > n\)이다. 또한 두 개의 매개변수화된 함수 패밀리를 포함한다: 인코더 패밀리 \(E_\phi: \mathcal{X} \to \mathcal{Z}\)와 디코더 패밀리 \(D_\theta: \mathcal{Z} \to \mathcal{X}\)이다. 입력 \(x\)에 대해 인코더는 잠재 변수 \(z = E_\phi(x)\)를 생성하고, 디코더는 재구성 \(x' = D_\theta(z)\)를 출력한다. 인코더와 디코더는 모두 일반적으로 다층 퍼셉트론이다; 예를 들어, 1계층 인코더는 \(\sigma(Wx + b)\)를 계산하며, 여기서 \(\sigma\)는 활성화 함수, \(W\)는 가중치 행렬, \(b\)는 편향 벡터이다.
오토인코더를 훈련하려면 \(\mathcal{X}\)에 대한 참조 확률 분포 \(\mu_{ref}\)와 재구성 품질 함수 \(d: \mathcal{X} \times \mathcal{X} \to [0, \infty]\)로 정의된 작업이 필요하다. 손실 함수는 기대 재구성 오류 \(L(\theta, \phi) = \mathbb{E}_{x \sim \mu_{ref}}[d(x, D_\theta(E_\phi(x)))]\)이다. 목표는 이 손실을 최소화하는 매개변수 \(\theta\)와 \(\phi\)를 찾는 것이며, 일반적으로 Adam 또는 확률적 경사 하강법 변형과 같은 경사 기반 최적화 방법을 사용한다.
변형 및 정규화
여러 오토인코더 변형은 특정 속성을 장려하기 위해 손실 함수나 구조를 수정한다. 희소 오토인코더는 은닉 유닛의 활성화에 패널티를 추가하여 희소 표현을 촉진한다. 잡음 제거 오토인코더는 입력에 노이즈를 추가하고 네트워크가 깨끗한 원본을 재구성하도록 훈련하여 노이즈에 강건한 표현을 만든다. 수축 오토인코더는 인코더의 야코비안에 패널티를 추가하여 작은 입력 변화에 둔감한 표현을 장려한다. 이러한 정규화된 형태는 분류 파이프라인에서 특징 추출에 자주 사용된다.
변이형 오토인코더(VAE)는 확률적 접근 방식을 취하여 잠재 변수에 대한 분포를 학습하고 생성 모델링을 가능하게 한다. VAE는 생성형 AI에 영향을 미쳤으며 이미지 합성 및 약물 발견과 같은 응용 분야에서 사용된다.
응용 분야
오토인코더는 다양한 영역에 적용된다. 컴퓨터 비전에서는 얼굴 인식과 이상 탐지에 사용되며, 재구성 오류가 비정상적인 패턴을 강조한다. 자연어 처리에서는 단어 임베딩과 의미 표현을 학습하는 데 도움이 된다. 또한 이미지 분할을 위한 U-Net과 같은 딥러닝 구조에서 구성 요소로 사용되며, 이는 오토인코더와 유사한 인코더-디코더 구조를 사용한다.
산업에서는 오토인코더가 사기 탐지, 네트워크 침입 탐지, 예측 유지보수에 배포된다. 예를 들어, AWS와 Google Cloud는 오토인코더 기반 이상 탐지를 통합한 머신러닝 서비스를 제공한다. MIT CSAIL 및 스탠포드 AI 연구소와 같은 연구 기관은 오토인코더 이론과 응용 발전에 기여했다.
다른 모델과의 관계
오토인코더는 인코더-디코더 모델 및 트랜스포머에서 사용되는 시퀀스-투-시퀀스 구조와 밀접한 관련이 있다. 트랜스포머는 번역과 같은 작업에 멀티헤드 어텐션과 위치 인코딩을 사용하는 반면, 오토인코더는 비지도 표현 학습에 중점을 둔다. 일부 현대 대규모 언어 모델은 마스크된 언어 모델링과 같은 사전 훈련을 위해 오토인코더 유사 목표를 통합하며, 이는 텍스트에 대한 잡음 제거 오토인코더로 볼 수 있다.
한계 및 확장
기본 오토인코더는 잠재 공간이 너무 크면 항등 함수를 학습할 수 있으므로 병목 계층이나 정규화와 같은 제약이 필요하다. 과적합은 문제이며 드롭아웃 및 배치 정규화와 같은 기법으로 해결된다. 확장에는 여러 계층을 탐욕적으로 훈련하는 적층 오토인코더와 계산 비용을 줄이는 모델 가지치기가 포함된다. OpenAI 및 Google DeepMind와 같은 그룹의 기여로 견고성과 해석 가능성 개선에 대한 연구가 계속되고 있다.