임베딩은 객체(주로 단어, 문장, 이미지, 사용자)를 연속 공간의 고정 길이 실수 벡터로 표현하는 방법이다. 좋은 임베딩의 핵심 속성은 해당 공간에서의 기하학적 근접성이 의미적 유사성과 일치한다는 점이다. "dog"와 "puppy"의 벡터는 서로 가깝게 위치하는 반면, "dog"와 "stock market"은 멀리 떨어진다. 임베딩은 모호하고 상징적인 의미 문제를 Neural network이 학습하고 컴퓨터가 효율적으로 검색할 수 있는 산술로 변환한다.
이 개념은 딥러닝 이전부터 존재했다. 1990년대 분포 의미론 연구자들은 "단어는 그 주변 환경에 의해 특징지어진다"고 주장했으며, 잠재 의미 분석과 같은 초기 계수 기반 방법은 단어 동시 발생 통계에서 저차원 표현을 구축했다. 현대 시대는 2013년 Word2vec으로 시작되었는데, 이는 얕은 신경망을 훈련시켜 주변 단어를 예측하게 했고, "king"에서 "man"을 빼고 "woman"을 더하면 "queen" 근처에 도달하는 것과 같은 벡터 산술이 비유를 포착할 수 있다는 유명한 속성을 가진 임베딩을 생성했다. 같은 시기에 출시된 GloVe는 유사한 결과를 제공하는 경쟁적인 계수 기반 접근 방식을 제시했다.
임베딩 생성 방법
word2vec과 GloVe 같은 정적 단어 임베딩은 문맥과 무관하게 단어마다 하나의 고정 벡터를 할당한다. 이는 다의어에서 문제가 된다. "bank"는 강과 금융이라는 의미가 혼합된 단일 벡터를 얻는다. Transformer (architecture) 아키텍처와 그 Attention mechanism은 문맥적 임베딩을 생성하여 이 문제를 해결했는데, 동일한 단어가 주변 문장에 따라 다른 벡터를 얻는 방식이다. BERT와 같은 모델은 하위 작업을 위한 문맥적 임베딩을 대중화했으며, 모든 현대 Large language model은 내부적으로 토큰을 층마다 정제되는 임베딩으로 표현한다.
텍스트를 넘어 임베딩은 모든 양식으로 일반화된다. CLIP은 이미지와 텍스트 인코더를 공동으로 훈련시켜 고양이 사진과 "a cat"이라는 캡션이 공유 공간에서 서로 가깝게 위치하도록 하며, 이는 현대 Text-to-image generation 생성과 다중 양식 검색의 기반이 된다. 추천 시스템은 사용자와 항목을 공유 공간에 임베딩하여 근접성이 선호도를 예측하게 하고, 생물학에서도 단백질 서열을 임베딩하는 동일한 기법을 채택했다.
응용 분야
임베딩은 Semantic search의 기반으로, 쿼리를 임베딩하고 코사인 유사도나 내적을 사용하여 정확한 키워드 일치 대신 임베딩된 문서 코퍼스와 비교한다. 이 기능은 Retrieval-augmented generation 시스템의 기반이 되며, 지식 베이스를 한 번 임베딩하고 쿼리 시점에 가장 관련성 높은 구절을 검색하여 LLM의 답변을 근거로 삼고 환각을 줄인다. 수백만 또는 수십억 개의 임베딩을 효율적으로 저장하고 검색하는 것은 Vector database의 역할이며, 근사 최근접 이웃 인덱싱을 사용하여 대규모에서 유사도 검색을 빠르게 만든다.
임베딩은 또한 클러스터링, 중복 제거, 이상 탐지, 분류를 지원하는데, 좋은 임베딩 위에 훈련된 단순한 선형 분류기가 처음부터 훈련된 훨씬 더 복잡한 모델과 경쟁력 있는 성능을 보이는 경우가 많기 때문이다. 추천 및 검색 순위 시스템에서 사용자와 항목의 임베딩은 공동으로 학습되며 행동 데이터가 축적됨에 따라 지속적으로 업데이트된다.
속성과 한계
임베딩의 차원은 텍스트의 경우 일반적으로 수백에서 수천까지 다양하며, 표현력과 저장 및 계산 비용 사이의 설계 선택이다. 결과적인 기하학적 구조는 때때로 Latent space라고 불리며, 해당 공간의 두 지점 사이를 보간하면 그럴듯한 중간 예시를 생성할 수 있는데, 이 속성은 생성적 이미지 및 오디오 모델에서 널리 활용된다.
임베딩은 훈련 데이터에 존재하는 편향을 상속한다. 웹 텍스트로 훈련된 단어 임베딩은 기하학적 관계에서 성별 및 인종 고정관념을 인코딩하는 것으로 나타났으며, 이는 Algorithmic bias 연구에서 널리 인용되는 발견이다. 또한 분포 변화에 취약할 수 있으며, 일반 웹 텍스트와 같은 한 도메인에서 훈련된 임베딩 모델은 추가적인 Fine-tuning 없이 법률 또는 의료 문서와 같은 전문 도메인에 적용될 때 성능이 저하될 수 있다. 이러한 주의 사항에도 불구하고 임베딩은 현대 AI 시스템에서 가장 지속적이고 널리 재사용되는 구성 요소 중 하나로 남아 있으며, 이를 생성하는 모델이 훨씬 더 강력해졌음에도 2013년 word2vec 돌파구 이후 개념적으로 크게 변하지 않았다.