LMArenaは、元々Chatbot Arenaとして知られていたが、クラウドソーシングによる評価プラットフォームであり、大規模言語モデルやその他の生成モデルを、一般の投票によるブラインドのペアワイズ比較を通じてランク付けするものである。ユーザーはプロンプトを送信し、匿名化された2つのモデルからの応答を受け取り、より良い回答に投票する。その投票は、チェスなどで使われるレーティングシステムを応用したもので、常に更新されるリーダーボードを生み出す。このプロジェクトは、カリフォル大学バークレー校で、オープンウェイトモデルであるVicunaの背後にある研究グループから生まれ、後に独立した企業としてスピンオフした。
歴史
Chatbot Arenaは、MMLUのような標準的なベンチマークが飽和状態にあり、学習データの汚染に対して脆弱であると見なされるようになった時代に、命令チューニングされたチャットモデルを比較するための研究ツールとして2023年に開始された。このアリーナは静的なテストセットではなく、生の人間の嗜好に依存しているため、オープンソース開発者と大手研究所の両方がすぐに採用し、新しいモデルを発表する際に、正式なベンチマークスコアと並べてアリーナのランキングを引用するようになった。このプロジェクトは、テキストチャットを超えて画像、動画、コーディング特化のアリーナへと拡大し、バークレー校関連の創設者が独立してプラットフォームを運営する会社を設立した2025年にLMArenaへとブランド名を変更したが、リーダーボードは引き続き無料で公開している。
方法論と影響
LMArenaのランキングシステムは、チェスや他の競技レーティングの文脈から採用されたElo式を使用しており、新しい投票が届くたびに更新される。また、応答のスタイルや長さなどの要因を統計的に制御しており、批評家はこれらの要因が、正しさに関係なく、人間の評価者をより冗長で、スタイル的に自信に満ちた回答に偏らせる可能性があると指摘している。この問題に対処するために、スタイル制御バリアントのリーダーボードが導入された。OpenAI、Google DeepMind、Anthropic、xAI、DeepSeekなどの研究所はすべてリーダーボードで顕著に取り上げられており、アリーナでの高いランキングは、Gemini、Grok、DeepSeek-R1などの新しいモデル発表のセールスポイントとなった。
批判
LMArenaは、研究所が公開前に最良のパフォーマンスを持つチェックポイントを選択するために、未公開のモデルの複数のバリアントをアリーナに提出できるという批判に直面している。これは、一般的な品質ではなくテストを最適化していることになり、2025年のMetaのLlama 4発表の際に著になった疑惑である。また、研究者は、自己選択された愛好家の投票者層によって支配されるクラウドソーシングによる美的嗜好が、SWE-benchやHumanEvalのようなベンチマークで測定される実際のタスクパフォーマンスとよく相関するかどうか疑問視している。これらの批判にもかかわらず、LMArenaは、業界全体でモデルの品質を比較するための最も広く引用されている公共の参照ポイントの1つであり続けている。