LMSYS(대규모 모델 시스템 조직)는 대규모 언어 모델(LLM)을 개발하고 평가하는 공개 연구 협력체이다. 2023년 캘리포니아 대학교 버클리, 카네기 멜론 대학교, 스탠퍼드 대학교, 캘리포니아 대학교 샌디에이고의 연구자들에 의해 설립된 LMSYS는 오픈소스 도구, 공개 벤치마크, 커뮤니티 주도 연구를 통해 인공지능 분야를 발전시키는 것을 목표로 한다. 이 조직은 LLM을 비교하는 크라우드소싱 플랫폼인 Chatbot Arena와 학계와 산업계에서 널리 사용되는 Vicuna 모델 시리즈를 공개한 것으로 가장 잘 알려져 있다.
LMSYS는 대규모 모델 연구를 접근 가능하고 투명하게 만드는 사명을 가지고 운영된다. 이 조직의 프로젝트는 실제 환경 평가, 재현성, AI 기술의 민주화를 강조한다. 학문적 엄격성과 실용적 배포를 결합함으로써, LMSYS는 LLM 벤치마킹과 개발의 중심 허브가 되었으며, 전 세계적으로 모델이 평가되고 개선되는 방식에 영향을 미치고 있다.
역사와 설립
LMSYS는 2023년 초에 설립되었으며, 대규모 모델을 평가하고 개발하기 위한 공유 인프라의 필요성을 인식한 연구자들 간의 협력 노력에서 비롯되었다. 설립 기관으로는 캘리포니아 대학교 버클리, 카네기 멜론 대학교, 스탠퍼드 대학교, 캘리포니아 대학교 샌디에이고가 포함된다. 이 계획은 메타가 LLaMA와 같은 모델을 공개한 이후 오픈소스 LLM이 급속히 확산된 것에 부분적으로 영감을 받았다. 설립자들은 모델을 공정하게 비교하고 연구 결과를 공개적으로 공유할 수 있는 플랫폼을 만드는 것을 목표로 했다.
이 조직은 AI 커뮤니티 내에서 빠르게 주목을 받았으며, 전 세계의 자원봉사자와 연구자들의 기여를 끌어모았다. 첫 번째 주요 공개 릴리스는 2023년 4월의 Chatbot Arena였으며, 사용자가 익명 모델과 상호작용하고 응답에 투표할 수 있게 했다. 평가에 대한 이러한 크라우드소싱 접근 방식은 새로운 것이었고, 전통적인 정적 벤치마크에 대한 확장 가능한 대안을 제공했다.
Chatbot Arena
Chatbot Arena는 2023년 4월에 출시된 LMSYS의 대표 프로젝트이다. 이는 사용자가 프롬프트를 제출하고 두 개의 익명 LLM으로부터 응답을 받을 수 있는 웹 기반 플랫폼이다. 사용자는 어떤 응답이 더 나은지 투표하며, 이는 체스 순위와 유사한 Elo 레이팅 시스템을 기반으로 한 동적 리더보드에 기여한다. 이 플랫폼은 GPT-4 및 Claude와 같은 독점 모델뿐만 아니라 Llama 및 Mistral과 같은 오픈소스 모델을 포함한 다양한 모델을 지원한다.
Arena의 강점은 실제 환경의 인간 선호 기반 평가에 있으며, 이는 자동화된 지표가 종종 놓치는 모델 품질의 측면을 포착한다. 2025년 초 기준으로 Arena는 2백만 표 이상을 수집했으며 LLM 비교의 사실상 표준이 되었다. 또한 공개 API와 데이터셋을 제공하여 연구자들이 사용자 선호도와 모델 성능을 분석할 수 있게 한다. 리더보드는 정기적으로 업데이트되며 LLM의 빠른 진화를 반영한다.
Vicuna 모델
Vicuna는 LMSYS가 개발한 오픈소스 채팅 모델 제품군으로, 2023년 3월에 처음 출시되었다. 초기 Vicuna-13B는 ShareGPT에서 수집된 약 70,000개의 사용자 공유 대화를 사용하여 메타의 LLaMA-13B를 미세 조정하여 만들어졌다. 훈련 과정은 메모리와 속도에 대한 최적화를 포함한 Alpaca 훈련 파이프라인의 수정 버전을 사용했다. Vicuna-13B는 LMSYS의 내부 평가에 따르면 인간 평가에서 ChatGPT 품질의 90% 이상을 달성하는 인상적인 성능을 보여주었다.
후속 버전에는 Vicuna-7B와 Vicuna-33B가 포함되며, 이후에는 더 새로운 기본 모델을 기반으로 한 반복 버전이 있다. Vicuna 모델은 강력한 성능 대 크기 비율과 허용적인 라이선스로 인해 연구와 생산에서 널리 사용된다. 또한 수많은 학술 연구에서 기준 모델로 사용되었으며 챗봇 및 가상 비서를 포함한 다양한 애플리케이션에 통합되었다.
기타 프로젝트 및 기여
Chatbot Arena와 Vicuna 외에도 LMSYS는 여러 다른 연구 계획에 기여했다. 여기에는 다음이 포함된다:
- MT-Bench: 쓰기, 추론, 코딩과 같은 주제를 다루는 80개의 다중 턴 질문으로 구성된, 더 복잡한 대화형 작업에서 채팅 모델을 평가하도록 설계된 다중 턴 벤치마크이다. GPT-4가 심사자로 점수를 매긴다.
- LongBench: 최대 10,000단어의 문서 처리가 필요한 작업에서 모델을 테스트하는 긴 문맥 이해 벤치마크이다.
- Chatbot Arena 데이터셋: 추가 분석을 위해 연구 커뮤니티에 공개된 대규모 인간 선호도 데이터셋이다.
- 모델 평가 도구: LMSYS는 FastChat과 같은 효율적인 모델 서빙 및 평가를 위한 오픈소스 도구를 개발했으며, 이는 챗봇 훈련, 서빙, 평가를 위한 플랫폼이다.
이러한 프로젝트는 정렬, 견고성, 효율성과 같은 영역에서 LLM 능력과 한계에 대한 이해를 집합적으로 발전시켰다.
영향과 평가
LMSYS는 AI 생태계에 상당한 영향을 미쳤다. Chatbot Arena는 모델 성능에 대한 신뢰할 수 있는 참고 자료가 되었으며 개발자와 사용자 모두에게 영향을 미치고 있다. Vicuna 모델은 수백만 번 다운로드되었으며 수많은 파생 작업에 영감을 주었다. 이 조직의 공개 연구 강조는 협력 문화를 조성했으며 많은 외부 기여자가 프로젝트에 참여하고 있다.
비평가들은 모델의 장황함이나 스타일이 사용자 선호도에 미치는 영향과 같은 크라우드소싱 평가의 잠재적 편향을 지적했다. LMSYS는 이러한 문제를 인정하고 편향을 완화하기 위한 통계 기법 사용을 포함하여 방법론을 계속 개선하고 있다. 이러한 과제에도 불구하고 이 조직의 기여는 커뮤니티에 가치 있는 것으로 널리 인정받고 있다.
향후 방향
앞으로 LMSYS는 비전-언어 모델을 포함한 멀티모달 모델을 포괄하도록 평가 플랫폼을 확장할 계획이다. 또한 자동 심사와 적응형 테스트를 통해 평가를 더 효율적이고 확장 가능하게 만드는 방법을 모색하고 있다. 추가로 LMSYS는 연구 진행을 가속화하기 위해 산업 파트너 및 다른 학술 기관과의 더 많은 협력을 촉진하는 것을 목표로 한다.
2025년 초 현재 LMSYS는 지속적인 프로젝트와 성장하는 커뮤니티를 통해 LLM 연구의 최전선에 남아 있다. 이 조직의 오픈소스 철학과 투명성에 대한 헌신은 인공지능 개발을 계속 형성할 가능성이 높다.
같이 보기
참고 자료
- LMSYS 공식 웹사이트: https://lmsys.org
- Chatbot Arena: https://chat.lmsys.org
- Hugging Face의 Vicuna 모델 카드
- GitHub의 FastChat 저장소