LMArena는 원래 Chatbot Arena로 출시된 크라우드소싱 평가 플랫폼으로, 대규모 언어 모델 및 기타 생성 모델을 대중의 투표를 통한 블라인드 쌍별 비교로 순위를 매긴다. 사용자는 프롬프트를 제출하고, 두 개의 익명 모델로부터 응답을 받은 후 더 나은 답변에 투표하며, 이러한 투표는 Elo 스타일의 평가 시스템에 반영되어 지속적으로 업데이트되는 리더보드를 생성한다. 이 프로젝트는 캘리포니아 대학교 버클리에서 시작되었으며, Vicuna 오픈 가중치 모델을 개발한 동일한 연구 그룹이 주도했고, 이후 독립 회사로 분사했다.
역사
Chatbot Arena는 2023년에 명령어 튜닝된 채팅 모델을 비교하기 위한 연구 도구로 출시되었으며, 당시 벤치마크인 MMLU와 같은 표준 평가는 포화 상태이거나 학습 데이터 오염에 취약하다는 인식이 확산되고 있었다. 아레나는 정적 테스트 세트가 아닌 실시간 인간 선호도에 의존하기 때문에, 오픈소스 개발자와 주요 연구소 모두가 빠르게 채택했으며, 새 모델을 발표할 때 공식 벤치마크 점수와 함께 아레나 순위를 인용하기 시작했다. 이 프로젝트는 2025년에 LMArena로 브랜드를 변경했으며, 텍스트 채팅을 넘어 이미지, 비디오, 코딩 전용 아레나로 확장했고, 버클리 소속 창립자들은 플랫폼을 독립적으로 운영하면서 리더보드를 무료로 공개 유지하는 회사를 설립했다.
방법론과 영향
LMArena의 순위 시스템은 체스 및 기타 경쟁 평가 맥락에서 차용한 Elo 공식을 사용하며, 새로운 투표가 도착할 때마다 업데이트된다. 또한 응답 스타일과 길이와 같은 요소에 대한 통계적 통제를 포함하는데, 비평가들은 이러한 요소가 정확성과 무관하게 인간 평가자가 더 장황하거나 스타일적으로 자신감 있는 응답에 편향될 수 있다고 지적했다. 이를 해결하기 위해 스타일 통제 변형 리더보드가 도입되었다. OpenAI, Google DeepMind, Anthropic, xAI, DeepSeek을 포함한 연구소들이 리더보드에서 두드러지게 나타났으며, 강력한 아레나 순위는 Gemini, Grok, DeepSeek-R1과 같은 신규 모델 출시의 마케팅 포인트가 되었다.
비판
LMArena는 연구소들이 공개 출시 전에 여러 미공개 모델 변형을 아레나에 제출하여 최고 성능의 체크포인트를 선택할 수 있다는 비판을 받아왔으며, 이는 일반적인 품질보다 테스트에 최적화하는 효과를 낳는다는 지적이다. 이 비난은 2025년 Meta의 Llama 4 출시를 둘러싸고 두드러지게 제기되었다. 연구자들은 또한 자기 선택된 열성 사용자 풀에 의해 지배되는 크라우드소싱 미적 선호도가 SWE-bench 또는 HumanEval과 같은 벤치마크로 측정된 실제 작업 성능과 잘 상관되는지 의문을 제기했다. 이러한 비판에도 불구하고, LMArena는 업계 전반에서 모델 품질을 비교하는 데 가장 널리 인용되는 공개 참조 지점 중 하나로 남아 있다.