Sparse Mixture of Experts(Sparse MoE)는 여러 개의 특수화된 신경망(전문가)과 각 입력에 대해 소수의 전문가만 활성화하는 게이팅 메커니즘을 결합한 머신러닝 아키텍처입니다. 이 접근 방식은 모든 입력에 모든 파라미터를 사용하는 밀집 모델과 대조됩니다. 입력을 관련 전문가에게 선택적으로 라우팅함으로써 Sparse MoE는 계산 비용을 비례적으로 증가시키지 않으면서 모델 용량을 늘리며, 이는 대규모 언어 모델 및 기타 딥러닝 시스템을 확장하는 데 핵심적인 기술이 되었습니다.
Mixture of Experts(MoE)의 개념은 1990년대 초 앙상블 학습의 한 형태로 시작되었으며, 여러 학습기가 문제 공간을 동질적인 영역으로 분할했습니다. Robert Jacobs, Michael Jordan, Geoffrey Hinton의 초기 연구는 각 전문가가 입력 공간의 서로 다른 부분을 전문화하는 적응형 로컬 전문가 혼합을 도입했습니다. 이후 Hampshire와 Waibel의 meta-pi 네트워크는 MoE를 음성 인식에 적용하여 서로 다른 일본인 화자의 음소를 분류하도록 6개의 시간 지연 신경망을 훈련했습니다. 이러한 기반 시스템은 모든 전문가가 모든 출력에 기여하는 밀집 가중치를 사용했지만, 게이팅 함수는 그들의 기여도를 가중하는 방법을 학습했습니다.
Sparse MoE는 밀집 MoE의 계산 한계에 대한 실용적인 해결책으로 등장했습니다. 밀집 MoE에서 게이팅 함수는 모든 전문가 출력의 가중 합을 계산하므로 모든 입력에 대해 모든 전문가를 평가해야 합니다. 토큰당 소수의 전문가만 선택하는 희소 활성화는 이러한 오버헤드를 줄이기 위해 도입되었습니다. 핵심 혁신은 입력에 따라 상위 k개 전문가(일반적으로 k=1 또는 k=2)를 선택하는 훈련 가능한 라우터로, 모델이 대부분의 전문가를 완전히 건너뛸 수 있게 합니다. 이러한 희소 라우팅은 Google의 Noam Shazeer와 동료들이 2017년에 발표한 논문 "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"에서 대중화되었으며, Sparse MoE가 합리적인 추론 비용을 유지하면서 수천 개의 전문가로 확장될 수 있음을 보여주었습니다.
아키텍처 및 라우팅
Sparse MoE 레이어는 세 가지 주요 구성 요소로 이루어져 있습니다: 전문가 네트워크 집합, 게이팅 또는 라우팅 함수, 그리고 부하 균형 메커니즘입니다. 각 전문가는 일반적으로 피드포워드 신경망이지만, 미분 가능한 함수라면 무엇이든 될 수 있습니다. 라우터는 입력 토큰 표현을 받아 학습된 선형 투영에 대한 소프트맥스를 통해 전문가에 대한 확률 분포를 생성합니다. 가장 높은 확률을 가진 상위 k개 전문가만 활성화되며, 그들의 출력은 정규화된 라우터 가중치를 사용하여 결합됩니다.
라우팅 함수는 성능과 효율성 모두에 중요합니다. 토큰을 적절한 전문가에게 할당하는 동시에 전문가가 저활용되지 않도록 대략 균등하게 사용되도록 해야 합니다. 일반적인 문제는 라우터가 항상 동일한 소수의 전문가를 선택하여 전문화의 목적을 무너뜨리는 "라우터 붕괴"입니다. 이를 해결하기 위해 현대 구현은 불균등한 전문가 사용을 페널티하는 보조 부하 균형 손실을 사용합니다. 예를 들어, Google이 2021년에 도입한 Switch Transformer는 토큰당 하나의 전문가만 선택하는 단순화된 라우팅 전략을 사용하며, 전문가 간 균등한 토큰 분포를 장려하는 부하 균형 손실을 결합합니다.
훈련 역학
Sparse MoE 모델을 훈련하는 것은 밀집 모델과 비교하여 독특한 과제를 제시합니다. 라우터와 전문가는 함께 훈련되어야 하지만, 전문가의 이산적 선택은 라우팅 결정을 비미분 가능하게 만듭니다. 대부분의 구현은 훈련 중에 라우터 가중치가 연속적인 소프트맥스 근사를 사용하며, top-k 선택은 추론 중에만 적용됩니다. 이를 통해 기울기가 라우터를 통해 흐를 수 있지만, 훈련과 추론 동작 사이에 불일치가 발생합니다.
또 다른 과제는 훈련 중 안정성입니다. Sparse MoE 모델은 특히 라우터가 너무 확신하거나 전문가가 매우 다른 수의 토큰을 받을 때 훈련 불안정성을 보일 수 있습니다. 훈련 중 무작위로 선택된 전문가를 제외하는 전문가 드롭아웃과 큰 라우터 로짓을 페널티하는 라우터 z-손실과 같은 기술이 훈련을 안정화하는 데 도움이 됩니다. Mistral AI가 2023년에 출시한 Mixtral 모델은 레이어당 8개의 전문가를 사용하고 토큰당 2개만 선택하면서 밀집 모델과 비교 가능한 총 파라미터 수를 유지하여 Sparse MoE가 최첨단 성능을 달성할 수 있음을 보여주었습니다.
대규모 언어 모델에서의 응용
Sparse MoE는 비례적인 계산 없이 파라미터를 확장할 수 있는 능력으로 인해 대규모 언어 모델(LLM)에서 표준 기술이 되었습니다. Switch Transformer는 1.6조 파라미터를 가진 Sparse MoE 모델이 효율적으로 훈련될 수 있으며, 유사한 계산 예산을 가진 밀집 모델보다 더 나은 성능을 달성한다는 것을 보여주었습니다. 이 접근 방식은 여러 주요 AI 연구 기관에서 채택되었습니다. Google의 GShard 아키텍처는 소스 언어에 따라 토큰을 전문가에게 라우팅하여 Sparse MoE를 기계 번역에 적용했습니다. 최근에는 Mixtral 8x7B 및 DeepSeek-MoE와 같은 모델이 Sparse MoE가 오픈소스 LLM에서 강력한 성능을 제공할 수 있음을 입증했습니다.
Sparse MoE의 계산 효율성은 각 토큰에 대해 소수의 전문가만 메모리에 로드하면 되는 추론에서 특히 가치가 있습니다. 이를 통해 수천억 개의 파라미터를 가진 모델이 소비자 GPU와 같은 제한된 메모리를 가진 하드웨어에서 실행될 수 있습니다. 그러나 모든 전문가 가중치를 저장하는 메모리 공간은 여전히 크며, 서로 다른 전문가를 서로 다른 장치에 배치하는 전문가 병렬 처리와 같은 기술이 여러 가속기에 모델을 분산하는 데 자주 사용됩니다.
밀집 모델과의 비교
Sparse MoE 모델은 파라미터-계산 트레이드오프에서 밀집 모델과 근본적으로 다릅니다. N개의 파라미터를 가진 밀집 모델은 모든 입력에 모든 N개의 파라미터를 사용하므로 계산 비용이 파라미터 수에 선형적으로 증가합니다. 총 N개의 파라미터를 가지지만 토큰당 k개의 활성 전문가만 사용하는 Sparse MoE 모델은 토큰당 파라미터의 약 k/N을 사용하므로 동일한 계산 예산을 가진 밀집 모델보다 훨씬 많은 파라미터를 가질 수 있습니다. 이를 통해 Sparse MoE 모델은 추론 지연 시간을 증가시키지 않으면서 더 많은 지식을 포착하고 더 다양한 작업을 처리할 수 있습니다.
그러나 Sparse MoE 모델이 보편적으로 우월한 것은 아닙니다. 전문가 수, k 값, 부하 균형 전략을 신중하게 조정해야 합니다. 라우터는 약간의 오버헤드를 추가하며, 이산적 라우팅은 예측하기 어려운 전문화로 이어질 수 있습니다. 밀집 모델은 훈련과 배포가 더 간단하며, 많은 작업에서 밀집 모델과 희소 모델 간의 성능 격차는 작습니다. 밀집 아키텍처와 희소 아키텍처의 선택은 계산, 메모리 및 목표 성능의 특정 제약 조건에 따라 달라집니다.
하드웨어 및 구현 고려 사항
Sparse MoE를 효율적으로 구현하려면 특수화된 하드웨어 지원과 소프트웨어 프레임워크가 필요합니다. 라우팅 작업은 서로 다른 토큰이 서로 다른 전문가에게 전송될 수 있으므로 불규칙한 메모리 액세스 패턴을 도입합니다. 이는 일부 장치가 많은 토큰을 처리하는 동안 다른 장치는 유휴 상태인 GPU의 부하 불균형을 초래할 수 있습니다. 초과 토큰을 버리는 토큰 드롭핑과 전문가를 장치 간에 분산하는 전문가 병렬 처리와 같은 기술이 이러한 문제를 완화하는 데 도움이 됩니다. Google Cloud, Amazon Web Services, Microsoft Azure를 포함한 주요 클라우드 제공업체는 대규모 MoE 훈련 및 추론에 최적화된 인프라를 제공합니다.
하드웨어 공급업체도 Sparse MoE에 대한 최적화를 시작했습니다. NVIDIA GPU는 희소 텐서 연산을 지원하며, AMD와 Intel은 희소 계산 처리를 위한 기능을 갖춘 가속기를 개발했습니다. Google Cloud는 MoE 레이어에 포함된 행렬 곱셈에 적합한 Tensor Processing Unit(TPU)을 제공합니다. PyTorch 및 TensorFlow와 같은 소프트웨어 프레임워크는 부하 균형 유틸리티와 분산 훈련 기본 요소를 포함하여 MoE 레이어에 대한 기본 지원을 추가했습니다.
향후 방향
Sparse MoE에 대한 연구는 계속 발전하고 있으며, 여러 유망한 방향이 있습니다. 한 영역은 더 나은 전문화와 부하 균형을 달성하기 위한 라우팅 알고리즘 개선입니다. 또 다른 영역은 전문가 간 파라미터 공유나 저랭크 근사를 사용하여 많은 전문가를 저장하는 메모리 공간을 줄이는 방법을 개발하는 것입니다. 또한 언어 모델을 넘어 컴퓨터 비전과 강화 학습에 Sparse MoE를 적용하는 것에 대한 관심도 있으며, 이 기술이 다양한 입력을 처리하기 위해 모델을 확장하는 데 도움이 될 수 있습니다.
Sparse MoE와 Transformer (architecture) 변형 및 Residual Network (ResNet) 설계와 같은 다른 아키텍처 혁신의 통합은 활발한 연구 영역입니다. 모델이 계속 성장함에 따라 희소 활성화는 대규모 AI 시스템을 실현 가능하게 만드는 데 점점 더 중요한 역할을 할 가능성이 높습니다. 전문가 전문화와 일반화 사이의 균형, 그리고 라우팅과 훈련 역학 간의 상호 작용은 Large language model 아키텍처의 차세대를 형성할 열린 연구 질문으로 남아 있습니다.
결론
Sparse MoE는 머신러닝 아키텍처에서 중요한 발전을 나타내며, 계산 효율성을 유지하면서 모델이 전례 없는 규모로 확장될 수 있게 합니다. 앙상블 학습에서의 기원부터 최첨단 LLM에서의 현재 역할까지, 이 기술은 다재다능하고 효과적임을 입증했습니다. 입력당 전문가의 하위 집합만 활성화함으로써 Sparse MoE는 용량과 계산 사이의 유리한 트레이드오프를 달성하여 현대 AI 시스템의 초석이 되었습니다. 하드웨어와 소프트웨어가 계속 발전함에 따라 Sparse MoE는 점점 더 강력하고 다양한 AI 시스템을 구축하는 핵심 도구로 남을 것으로 기대됩니다.