MMLU는 'Massive Multitask Language Understanding'의 약자로, 2020년 Dan Hendrycks와 공동 연구자들이 언어 모델의 지식 폭과 추론 능력을 측정하기 위해 도입한 벤치마크이다. 이는 초등 수학, 미국사, 컴퓨터 과학, 법학, 전문 의학을 포함한 57개 과목에 걸친 약 15,900개의 객관식 질문으로 구성되며, 대부분 실제 시험과 교과서에서 발췌되었고 난이도는 초등학교 수준부터 전문가 수준까지 다양하다.
설계 및 목적
MMLU는 모델이 주로 대규모 텍스트 코퍼스에 대한 사전 학습을 통해 습득해야 하는 광범위한 세계 지식의 유형을 테스트하도록 설계되었으며, 특정 작업에 대한 미세 조정보다는 모델이 단일 좁은 작업을 얼마나 잘 수행하는지보다 여러 분야에 걸쳐 얼마나 많은 지식을 보유하는지를 대리 측정한다. 제작자인 Dan Hendrycks는 이후 저명한 AI 안전 연구자가 되어 AI 안전 센터를 설립했으며, MMLU의 구성은 LLM 평가를 독해 이해나 단일 도메인 질문 응답과 같은 좁은 벤치마크에서 일반 지식에 더 가까운 방향으로 이동시키려는 초기 노력을 반영했다.
채택
GPT-3 시대와 이후 대규모 언어 모델과 함께 출시된 후, MMLU는 모델 출시 논문과 기술 보고서에서 가장 널리 보고되는 벤치마크 중 하나가 되었으며, OpenAI, Anthropic, Google DeepMind, Meta AI를 포함한 사실상 모든 주요 연구소가 핵심 성능 지표로 인용했다. 그 보편성 덕분에 서로 다른 조직이 서로 다른 방법으로 훈련한 모델 간의 공통 비교 지점이 되었으며, 이는 10년 전 컴퓨터 비전에서 ImageNet이 수행했던 역할과 유사하다.
포화
초기 언어 모델은 4지선다형 질문에서 무작위 추측으로 기대되는 25%보다 약간 높은 점수만 기록했지만, 모델 규모가 커짐에 따라 성능은 빠르게 향상되어 몇 년 안에 80%를 초과했고, 2024년에는 선도적인 프론티어 모델이 90%를 넘어 전문가 인간 패널이 달성할 수 있는 점수 추정치에 근접했다. 이러한 포화는 최상위 모델 간의 변별력을 떨어뜨렸고, 더 어려운 질문을 추가하고 답변 선택지를 확장하여 추측의 영향을 줄인 MMLU-Pro를 포함한 더 어려운 후속 벤치마크의 생성을 촉진했다.
비판
MMLU는 여러 측면에서 비판을 받아왔다. 연구자들은 원본 데이터셋에서 오류가 있거나 모호한 질문과 정답 키의 비율이 무시할 수 없는 수준임을 확인했다. 공개된 시험 자료를 기반으로 하기 때문에 데이터 오염은 지속적인 우려 사항이며, 많은 모델을 사전 학습하는 데 사용되는 웹 규모 데이터에 일부 질문이나 유사 중복이 포함될 가능성이 있다. 또한 객관식 형식은 생성보다 인식을 보상하므로 모델이 개방형 작업에서 실제로 사용되는 방식을 반영하지 못할 수 있다. 이러한 문제 중 일부는 이후 변형에서 부분적으로 해결되었지만, MMLU의 핵심 설계는 2020년대 평가 우선순위의 스냅샷으로 남아 있다.
유산
포화와 비판에도 불구하고 MMLU는 모델 비교에서 기준 참조 지점으로 널리 인용되며, 최상위 모델을 의미 있게 구분하지 못하게 된 후에도 출시 발표에 계속 등장한다. 이는 영향력 있는 벤치마크가 변별력이 사라진 후에도 공통 어휘로 오래 지속되는 더 넓은 패턴을 보여준다.