잠재 공간(latent space)은 신경망이 훈련 데이터의 구조를 표현하기 위해 내부적으로 학습하는 압축된 저차원 공간이다. 잠재 공간을 사용하는 모델은 원시 픽셀, 단어, 오디오 샘플을 저장하는 대신 입력을 추상적인 수치 좌표 또는 벡터 집합으로 매핑하며, 의미나 형태가 유사한 입력이 서로 가까이 위치하도록 선택된다. 이 개념은 딥러닝 전반에 걸쳐 오토인코더와 생성적 적대 신경망부터 현대의 확산 모델과 임베딩 기반 검색 시스템에 이르기까지 사용된다.
기원
이 아이디어는 통계학의 초기 차원 축소 방법에서 비롯되었지만, 입력을 병목 계층으로 압축한 후 재구성하도록 훈련된 신경망인 오토인코더를 통해 주류 머신러닝에 들어왔다. 병목 계층의 값이 잠재 표현이다. 2013년에 도입된 변분 오토인코더는 잠재 공간이 매끄러운 확률 분포를 따르도록 강제함으로써 이를 확장했으며, 이로 인해 해당 공간에서 임의의 점을 선택하여 새롭고 그럴듯한 출력을 샘플링할 수 있게 되었다. 병렬적인 연구인 Word2vec(2013)은 텍스트로 훈련된 잠재 공간이 단어 간의 유추적 관계를 포착할 수 있음을 보여주었고, 잠재 공간의 방향과 거리가 의미를 지닌다는 개념을 대중화했다.
생성 모델에서의 역할
잠재 공간은 생성적 적대 신경망에서 이미지 생성의 핵심이 되었으며, 생성기는 임의의 잠재 벡터를 사실적인 이미지로 매핑하는 법을 학습한다. 이는 스테이블 디퓨전 및 관련 시스템의 기반 기술인 잠재 확산에서 더욱 중요해졌다. 모델은 느린 노이즈 제거 과정을 픽셀에 직접 적용하는 대신, 오토인코더로 이미지를 작은 잠재 격자로 압축하고 확산 모델 단계를 그곳에서 수행한 후에만 픽셀로 디코딩한다. 이로 인해 고해상도 텍스트-이미지 생성이 훨씬 저렴하게 실행될 수 있게 되었다. CLIP과 같은 다중 모달 시스템은 이미지와 텍스트를 위한 공유 잠재 공간을 학습하여 캡션과 해당 이미지가 서로 가까이 위치하도록 하며, 이는 확산 모델이 텍스트 프롬프트에 의해 안내될 수 있게 하는 핵심 요소다.
보간, 산술, 검색
잘 형성된 잠재 공간에서 가까운 점은 의미적으로 유사한 경향이 있으므로, 실무자는 두 점 사이를 매끄럽게 보간하여 한 출력을 다른 출력으로 변형하거나 벡터 산술을 수행할 수 있다. 유명한 초기 사례로는 단어 임베딩에서 "왕 - 남자 + 여자 = 여왕"이 있다. 이와 같은 속성은 의미 검색의 기반이 된다. 문서와 쿼리가 공유 잠재 공간에 임베딩되고, 벡터 데이터베이스가 정확한 키워드 일치 대신 근접 벡터를 찾는다. 이미지 모델에서는 발견된 방향을 따라 잠재 벡터를 편집하면 모델을 재훈련하지 않고도 조명이나 포즈와 같은 출력 속성을 변경할 수 있다.
한계
잠재 공간은 설계된 것이 아니라 학습된 것이므로 그 구조가 해석 가능하거나 균일하게 조직된다는 보장이 없다. 영역이 얽혀 있을 수 있으며, 이는 단일 차원이 여러 가시적 속성에 동시에 영향을 미친다는 것을 의미한다. 해석 가능성 연구는 잠재 표현을 더 투명하게 만들기 위해 시도했지만 성공은 엇갈렸고, 잠재 공간의 기하학은 모델 버전 간에 크게 달라질 수 있어 학습된 방향을 모델 간에 재사용하려는 시도를 복잡하게 만든다.