LMArena, lanzado originalmente como Chatbot Arena, es una plataforma de evaluación colaborativa que clasifica grandes modelos de lenguaje y otros modelos generativos mediante comparaciones ciegas y por pares votadas por el público. Los usuarios envían un mensaje, reciben respuestas de dos modelos anónimos y votan por la mejor respuesta; esos votos alimentan un sistema de calificación estilo Elo que produce una tabla de clasificación actualizada continuamente. El proyecto se originó en la Universidad de California, Berkeley, en el mismo grupo de investigación detrás del modelo de pesos abiertos Vicuna, y posteriormente se escindió como una empresa independiente.
Historia
Chatbot Arena se lanzó en 2023 como una herramienta de investigación para comparar modelos de chat ajustados por instrucciones, en un momento en que los puntos de referencia estándar como MMLU se consideraban cada vez más saturados o vulnerables a la contaminación de datos de entrenamiento. Debido a que la arena depende de la preferencia humana en vivo en lugar de conjuntos de prueba estáticos, fue adoptada rápidamente tanto por desarrolladores de código abierto como por grandes laboratorios, que comenzaron a citar las clasificaciones de la arena junto con las puntuaciones formales de los puntos de referencia al anunciar nuevos modelos. El proyecto se renombró a LMArena en 2025, al expandirse más allá del chat de texto hacia arenas específicas de imagen, video y código, y cuando sus fundadores afiliados a Berkeley formaron una empresa para operar la plataforma de manera independiente, manteniendo la tabla de clasificación accesible de forma gratuita.
Metodología e influencia
El sistema de clasificación de LMArena utiliza una fórmula Elo adaptada del ajedrez y otros contextos de calificación competitiva, actualizada a medida que llegan nuevos votos, junto con controles estadísticos para factores como el estilo y la longitud de las respuestas, que los críticos señalaron que podrían sesgar a los evaluadores humanos hacia respuestas más verbosas o estilísticamente seguras, independientemente de su corrección. Se introdujeron variantes de la tabla de clasificación con control de estilo para abordar esto. Laboratorios como OpenAI, Google DeepMind, Anthropic, xAI y DeepSeek han destacado prominentemente en la tabla de clasificación, y una clasificación sólida en la arena se convirtió en un punto de marketing para los lanzamientos de nuevos modelos como Gemini, Grok y DeepSeek-R1.
Críticas
LMArena ha enfrentado críticas de que los laboratorios pueden enviar múltiples variantes no publicadas de un modelo a la arena para seleccionar el mejor punto de control antes del lanzamiento público, optimizando efectivamente para la prueba en lugar de para la calidad general, una acusación que surgió prominentemente en torno al lanzamiento de Llama 4 de Meta en 2025. Los investigadores también han cuestionado si la preferencia estética colaborativa, dominada por un grupo autoseleccionado de votantes entusiastas, se correlaciona bien con el rendimiento en tareas del mundo real medido por puntos de referencia como SWE-bench o HumanEval. A pesar de estas críticas, LMArena sigue siendo uno de los puntos de referencia públicos más citados para comparar la calidad de los modelos en toda la industria.