MPT(MosaicML Pretrained Transformer)는 MosaicML(이후 Databricks에 인수된 회사)이 개발한 오픈소스 대규모 언어 모델 제품군입니다. 이 모델들은 상업적으로 사용할 수 있도록 설계되었으며, 즉 비즈니스 및 연구 맥락에서 폭넓게 적용할 수 있는 허용적 라이선스로 배포됩니다. MPT 모델은 Transformer (architecture) 아키텍처를 기반으로 하며, 효율적인 훈련 방법과 긴 컨텍스트 창으로 유명하여 OpenAI나 Google DeepMind 같은 조직의 독점 모델에 대한 실용적인 대안이 됩니다.
첫 번째 MPT 모델인 MPT-7B는 2023년 5월에 출시되었고, MPT-30B는 2023년 6월에 출시되었습니다. 이 모델들은 Gradient Clipping 및 Layer Normalization과 같은 최적화된 훈련 기법을 활용하는 MosaicML 플랫폼을 사용하여 훈련되었으며, 더 적은 계산 리소스로 높은 성능을 달성했습니다. MPT 모델은 특히 텍스트 생성, 요약, 코드 완성과 같은 작업에서 Generative AI 생태계에서 널리 채택되었습니다.
아키텍처 및 훈련
MPT 모델은 다른 현대 LLM과 유사한 디코더 전용 트랜스포머 아키텍처를 사용합니다. 그러나 효율성과 성능을 개선하기 위해 몇 가지 혁신을 통합합니다. 특히 MPT 모델은 ALiBi(Attention with Linear Biases)와 같은 기법을 통해 더 긴 시퀀스를 지원하는 Multi-Head Attention을 사용하며, 이를 통해 모델이 훈련 중에 본 것보다 더 긴 컨텍스트로 외삽할 수 있습니다. 이는 전통적인 Positional Encoding 방법에서 벗어난 것으로, MPT-7B가 일부 구성에서 최대 84,000개의 토큰을 처리할 수 있게 합니다.
훈련은 공개적으로 이용 가능한 텍스트 및 코드의 대규모 데이터 세트에서 수행되었으며, 데이터 품질과 다양성에 중점을 두었습니다. MosaicML은 MPT-7B가 1조 개의 토큰으로 훈련되었고, MPT-30B는 1.2조 개의 토큰으로 훈련되었다고 보고했습니다. 훈련 과정은 워밍업과 코사인 감쇠를 포함한 Learning Rate Scheduling과 함께 Adam (Optimizer)를 사용했습니다. 또한 Weight Initialization은 대규모 훈련을 안정화하기 위해 세심하게 조정되었습니다.
상업적 사용성 및 라이선스
MPT 모델의 주요 차별점은 라이선스입니다. MPT-7B는 Apache 2.0 라이선스로 배포되어 상업적 목적을 포함한 무제한 사용, 수정, 배포를 허용합니다. MPT-30B는 상업적으로도 허용적인 맞춤형 라이선스로 배포되지만, 다른 대규모 언어 모델을 개선하는 데 모델을 사용하는 것에 대한 제한이 포함됩니다. 이 라이선스 전략은 채택을 장려하면서 MosaicML의 경쟁적 이익을 보호하도록 설계되었습니다.
MPT 모델의 상업적 사용성은 폐쇄형 모델과 관련된 API 비용과 데이터 프라이버시 문제를 피하려는 스타트업과 기업에게 매력적이었습니다. 기업은 Amazon Web Services, Microsoft Azure, Google Cloud와 같은 클라우드 서비스나 AWS Trainium 또는 Groq 가속기와 같은 특수 하드웨어를 사용하여 자체 인프라에 MPT 모델을 배포할 수 있었습니다.
성능 및 벤치마크
MPT 모델은 표준 벤치마크에서 경쟁력 있는 성능을 입증했습니다. 예를 들어 MPT-7B는 MMLU(Massive Multitask Language Understanding) 및 HellaSwag와 같은 작업에서 강력한 결과를 달성했으며, 출시 당시 비슷한 크기의 다른 오픈소스 모델을 종종 능가했습니다. MPT-30B는 이러한 점수를 더욱 개선하여 특정 영역에서 더 큰 독점 모델의 성능에 근접했습니다.
코드 생성 작업에서 MPT 모델은 코드 중심 데이터 세트로 훈련된 덕분에 HumanEval과 같은 벤치마크에서 좋은 성능을 보였습니다. 또한 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백 기반 강화 학습)와 같은 기법을 사용한 미세 조정이나 큐레이션된 지시 데이터 세트에 대한 지도 미세 조정 후 지시 따르기 능력에서 강력한 역량을 보여주었습니다.
생태계 및 영향
MPT 모델은 많은 파생 작업의 기반이 되었습니다. 개발자들은 채팅, 요약, 도메인 특화 애플리케이션과 같은 특정 작업을 위한 미세 조정 변형을 만들었습니다. 이 모델들은 Hugging Face와 같은 플랫폼에 통합되어 실험과 배포에 쉽게 접근할 수 있게 되었습니다.
MPT의 출시는 오픈소스 LLM이 독점적 지배력에 도전하는 더 넓은 추세에 기여했습니다. 이는 효율적인 훈련 기법이 기술 대기업의 막대한 예산 없이도 고품질 모델을 생산할 수 있음을 입증했습니다. MPT는 또한 Llama 시리즈와 같은 후속 모델 개발에 영향을 주며 훈련 효율성과 긴 컨텍스트 기능의 중요성을 강조했습니다.
한계 및 향후 방향
강점에도 불구하고 MPT 모델에는 한계가 있습니다. 훈련 데이터에 존재하는 편향을 나타낼 수 있으며, 사실적 정확성이 항상 신뢰할 수 있는 것은 아닙니다. 이는 LLM 전반의 일반적인 문제입니다. 또한 모델은 추론에 상당한 계산 리소스가 필요하지만, 양자화 및 기타 최적화 기법으로 이를 완화할 수 있습니다.
2023년 MosaicML이 Databricks에 인수된 후, MPT 제품군의 개발은 결국 MPT에서 얻은 교훈을 통합한 DBRX와 같은 다른 모델로 대체되었습니다. 그러나 MPT는 상업적으로 실행 가능한 LLM을 공개적으로 구축하고 공유할 수 있음을 입증한 오픈소스 AI 역사에서 중요한 이정표로 남아 있습니다.
같이 보기
참고 문헌
MosaicML 기술 보고서 및 블로그 게시물 (2023).
외부 링크
(제공된 외부 링크 없음.)