Mixtral은 프랑스의 인공지능 기업인 Mistral AI가 개발한 대규모 언어 모델 계열이다. 이 모델들은 희소 혼합 전문가(MoE) 아키텍처를 기반으로 하며, 각 입력에 대해 모델 매개변수의 일부만 활성화하여 유사한 크기의 밀집 모델보다 낮은 계산 비용으로 높은 성능을 구현한다. 첫 번째 Mixtral 모델인 Mixtral 8x7B는 2023년 12월에 출시되었고, 이후 2024년 4월에 Mixtral 8x22B가 출시되었다.
Mixtral 계열은 OpenAI 및 Anthropic과 같은 조직의 독점 모델과 경쟁하도록 설계되었으며, 오픈 가중치로 제공되어 연구 및 상업적 용도로 모두 사용할 수 있다. 이 모델들은 현대 딥러닝의 기초 설계인 Transformer 아키텍처를 기반으로 구축되었으며, 대규모 텍스트 데이터로 학습된다. Mixtral 모델은 여러 언어를 지원하며 텍스트 생성, 코드 완성, 지시 따르기와 같은 작업을 수행할 수 있다.
아키텍처 및 설계
Mixtral 모델은 혼합 전문가 계층을 사용하며, 각 피드포워드 네트워크는 여러 전문가 하위 네트워크로 구성된다. 게이팅 메커니즘은 각 토큰에 대해 상위 k개 전문가(일반적으로 2개)를 선택하여 추론 중 총 매개변수의 일부만 사용할 수 있게 한다. 예를 들어, Mixtral 8x7B는 총 470억 개의 매개변수를 가지지만 토큰당 약 130억 개만 활성화하여 일부 시나리오에서 밀집 7B 모델보다 더 효율적이다.
희소 MoE 설계는 조건부 계산에 대한 초기 연구에서 영감을 얻었으며, 최근 대규모 모델에서 널리 채택되었다. 이 접근 방식은 Mixtral이 계산 비용의 비례적 증가 없이 더 높은 용량을 달성할 수 있게 한다. 모델은 다른 생성형 AI 시스템과 유사하게 표준 다음 토큰 예측 목표를 사용하여 학습된다.
출시 및 버전
Mistral AI는 2023년 12월 11일에 Mixtral 8x7B를 Apache 2.0 라이선스로 출시하여 상업적 사용이 자유롭게 가능하게 했다. 이 모델에는 채팅 및 지시 따르기 작업에 최적화된 미세 조정 변형인 Mixtral 8x7B Instruct가 함께 제공되었다. 2024년 4월에는 총 1410억 개의 매개변수와 390억 개의 활성 매개변수를 가진 더 큰 버전인 Mixtral 8x22B가 역시 Apache 2.0 라이선스로 출시되었다.
두 모델 모두 Mistral AI의 API와 오픈 가중치 다운로드를 통해 제공되었다. 이들은 Amazon Web Services(AWS), Microsoft Azure, Google Cloud를 포함한 다양한 플랫폼에 통합되었으며, Groq 및 SambaNova를 통해 고속 추론도 지원된다. 모델은 양자화 기술을 통해 제한된 메모리를 가진 시스템에서도 작동할 수 있어 소비자 하드웨어에서의 로컬 배포도 가능하다.
성능 및 벤치마크
Mixtral 8x7B는 LLaMA 2 70B 및 GPT-3.5를 포함한 여러 기존 모델과 벤치마크 비교를 통해 자연어 이해, 수학, 코드 생성과 같은 작업에서 경쟁력 있는 성능을 보여주었다. 많은 벤치마크에서 더 적은 활성 매개변수로 더 큰 밀집 모델의 성능과 일치하거나 초과했다. Mixtral 8x22B는 이러한 결과를 더욱 개선하여 추론 및 다국어 작업과 같은 영역에서 최첨단 모델의 능력에 근접했다.
모델은 MMLU(대규모 다중 작업 언어 이해), HellaSwag, HumanEval과 같은 표준 데이터셋에서 평가되었다. Stanford AI Lab 및 기타 연구 그룹의 독립적 테스트는 제로샷 및 퓨샷 설정에서 모델의 강력한 성능을 확인했다. 그러나 모든 대규모 언어 모델과 마찬가지로 Mixtral은 편향과 부정확성을 나타낼 수 있으며, 출력은 주의해서 사용해야 한다.
영향 및 평가
Mixtral의 출시는 오픈 가중치 모델이 독점 시스템과 성능에서 경쟁할 수 있음을 입증한 점에서 주목할 만하며, 오픈소스 인공지능으로의 광범위한 움직임에 기여했다. 혼합 전문가 아키텍처는 이후 다른 모델 출시에 영향을 미쳤으며, Mixtral은 머신러닝에서 효율적 확장의 핵심 사례로 자주 인용된다.
2023년 Google DeepMind 및 Meta AI 출신 연구자들이 설립한 Mistral AI는 Mixtral을 핵심 제품으로 자리매김했다. 회사는 상당한 자금과 파트너십을 확보했으며, Microsoft와의 계약을 통해 Azure에서 모델을 배포하고 있다. Mixtral의 오픈 라이선스는 연구, 스타트업, 기업 애플리케이션에서의 광범위한 채택을 가능하게 하여 생성형 AI 및 자연어 처리 분야의 혁신을 촉진했다.
한계 및 향후 방향
장점에도 불구하고 Mixtral 모델은 전체 정밀도 배포를 위한 높은 메모리 요구 사항과 전문가 특성화의 잠재적 문제와 같은 과제에 직면한다. 희소 아키텍처는 전문가 활용의 불균형을 초래할 수 있으며, 최적 성능을 위해 세심한 튜닝이 필요할 수 있다. 2024년 현재 Mistral AI는 새로운 아키텍처와 학습 방법을 계속 개발하고 있으며, 향후 출시는 MoE 접근 방식을 기반으로 할 가능성이 높다.
Mixtral의 성공은 또한 하드웨어 최적화에 대한 관심을 불러일으켰으며, AMD 및 Intel과 같은 기업이 희소 모델의 효율적 추론을 위해 노력하고 있다. 모델 계열은 여전히 활발한 연구 영역이며, 대규모 언어 모델 환경에 대한 영향력은 지속될 것으로 예상된다.