차원 축소는 기계 학습과 인공 지능에서 데이터를 고차원 공간에서 저차원 공간으로 변환하면서 가능한 한 많은 의미 있는 정보를 보존하는 기본적인 기법이다. 주요 목표는 고려 대상인 확률 변수의 수를 줄이는 것이며, 이는 특성 공간의 부피가 차원 수에 따라 기하급수적으로 증가하여 데이터를 희소하게 만들고 통계적 분석을 어렵게 만드는 차원의 저주를 완화하는 데 도움이 된다. 데이터를 더 적은 차원으로 투영함으로써 모델은 더 효율적이 되고, 과적합에 덜 취약하며, 시각화와 해석이 더 쉬워진다.
차원 축소의 필요성은 이미지 처리, 자연어 처리, 유전체학을 포함한 많은 영역에서 발생한다. 고차원 데이터셋은 종종 노이즈와 계산 비용을 추가하는 중복되거나 관련 없는 특성을 포함한다. 주성분 분석(PCA), t-분산 확률적 이웃 임베딩(t-SNE), 균일 매니폴드 근사 및 투영(UMAP)과 같은 기법은 데이터에서 가장 정보가 풍부한 구조를 추출하는 데 널리 사용된다. 이러한 방법은 선형 또는 비선형일 수 있으며, 그 선택은 데이터 특성과 클러스터링, 분류, 시각화와 같은 의도된 응용에 따라 달라진다.
주성분 분석과 선형 방법
주성분 분석(PCA)은 가장 고전적이고 널리 사용되는 선형 차원 축소 기법이다. 1901년 칼 피어슨이 도입한 PCA는 주성분이라고 불리는 직교 축을 식별하여 데이터의 최대 분산을 포착한다. 첫 번째 주성분은 가능한 가장 큰 분산을 차지하고, 두 번째 주성분은 그 다음으로 큰 분산을 차지하는 식이다. 상위 성분만 유지함으로써 PCA는 전역 구조를 보존하면서 차원을 줄인다. PCA는 계산적으로 효율적이며 비선형 데이터를 위한 커널 PCA와 같은 많은 확장의 기초를 형성한다. 다른 선형 방법으로는 클래스 분리성을 최대화하는 데 초점을 맞춘 선형 판별 분석(LDA)과 기저 잠재 변수를 모델링하는 요인 분석이 있다.
비선형 기법: t-SNE와 UMAP
복잡한 비선형 데이터의 경우 선형 방법은 종종 내재 구조를 포착하지 못한다. 2008년 로런스 반 데르 마텐과 제프리 힌턴이 개발한 t-분산 확률적 이웃 임베딩(t-SNE)은 국소 유사성을 강조하는 인기 있는 비선형 기법이다. 이는 고차원 공간에서 점 쌍에 대한 확률 분포를 구성한 다음 저차원 임베딩의 유사한 분포와 해당 분포 사이의 쿨백-라이블러 발산을 최소화한다. t-SNE는 클러스터 시각화에 뛰어나지만 하이퍼파라미터에 민감할 수 있고 전역 거리를 잘 보존하지 못한다. 2018년 릴런드 맥기니스와 존 힐리가 도입한 균일 매니폴드 근사 및 투영(UMAP)은 매니폴드 이론과 위상 데이터 분석에 기반한 더 최근의 방법이다. UMAP은 종종 t-SNE보다 빠르게 실행되며 국소 및 전역 구조를 모두 더 잘 보존하여 대규모 데이터셋에 선호되는 선택이 되고 있다.
오토인코더와 딥러닝 접근법
딥러닝과 신경망 아키텍처의 부상과 함께 차원 축소는 표현 학습에 통합되었다. 오토인코더는 더 낮은 차원의 병목 계층을 통해 입력을 재구성하도록 훈련된 신경망이다. 인코더는 입력을 압축된 잠재 표현으로 매핑하고, 디코더는 원래 데이터를 재구성하려고 시도한다. 훈련 후 잠재 공간은 축소된 차원의 특성 집합으로 사용된다. 변분 오토인코더(VAE)는 확률적 잠재 분포를 학습하여 생성 모델링을 가능하게 함으로써 이 아이디어를 확장한다. 이러한 방법은 계층적 특성을 학습할 수 있는 이미지 및 텍스트 데이터에 특히 효과적이다. 대규모 언어 모델의 맥락에서 차원 축소는 토큰의 고차원 임베딩을 관리하고 주의 행렬을 투영하는 데 사용되며, 종종 저랭크 분해와 같은 기법을 통해 이루어진다.
응용 및 실용적 고려 사항
차원 축소는 수많은 실제 시스템에 적용된다. 컴퓨터 비전에서는 웨이모와 테슬라 오토파일럿과 같은 응용에서 더 빠른 추론을 위해 이미지 특성을 압축하는 데 도움이 된다. 자연어 처리에서는 Word2Vec 및 GloVe와 같은 단어 임베딩이 어휘 공간을 밀집 벡터로 줄이며, 이는 이후 트랜스포머 모델에서 사용된다. 생물정보학에서는 고처리량 시퀀싱의 유전자 발현 데이터를 시각화하는 데 도움이 된다. 실용적 고려 사항에는 정보 손실과 계산 절약 사이의 절충, 차원 수의 선택(종종 설명된 분산 또는 엘보우 방법으로 결정됨), 결과 특성의 해석 가능성이 포함된다. 드롭아웃과 배치 정규화와 같은 기법은 때때로 차원 축소와 결합되어 모델 견고성을 향상시키지만, 이들은 서로 다른 목적을 제공한다.
차원의 저주와의 관계
차원의 저주는 고차원 공간을 덮는 데 필요한 샘플 수가 차원 수에 따라 기하급수적으로 증가하는 현상을 설명한다. 이는 거리 측정의 의미를 약화시키고 k-최근접 이웃과 같은 알고리즘의 성능을 저하시킬 수 있다. 차원 축소는 데이터를 점 밀도가 더 높고 거리가 더 신뢰할 수 있는 저차원 부분 공간으로 투영함으로써 이를 직접적으로 해결한다. 그러나 이는 만병통치약이 아니다. 과도한 축소는 판별 정보를 버릴 수 있다. MIT CSAIL과 스탠포드 AI 연구소와 같은 기관의 연구자들은 존슨-린덴스트라우스 보조정리를 포함한 차원 축소의 이론적 한계를 연구했으며, 이는 목표 차원이 점 수의 로그에 비례할 때 무작위 투영이 높은 확률로 쌍별 거리를 보존할 수 있음을 보장한다.
미래 방향
데이터셋이 계속해서 크기와 복잡성에서 성장함에 따라 차원 축소는 여전히 활발한 연구 영역이다. 근사 PCA 및 스트리밍 UMAP과 같은 수십억 개의 점으로 확장되는 방법이 개발되고 있다. 또한 축소된 차원이 의미 있는 의미적 개념에 해당하는 해석 가능한 차원 축소에 대한 관심도 증가하고 있다. 생성형 AI와 트랜스포머 기반 모델의 시대에 잠재 공간은 종종 고차원이며, 프로빙 및 희소 오토인코더와 같은 기법이 모델 동작을 이해하고 제어하는 데 사용된다. 차원 축소를 모델 가지치기 및 데이터 증강과 통합하는 것도 또 다른 새로운 추세로, 더 효율적이고 일반화 가능한 시스템을 만드는 것을 목표로 한다.