MMLU-Pro는 대규모 언어 모델의 지식 및 추론 능력을 평가하기 위한 벤치마크 데이터셋이다. 이는 2020년에 인문학부터 STEM 분야까지 다양한 주제에 걸친 모델의 성능을 측정하기 위해 도입된 원래의 Massive Multitask Language Understanding(MMLU) 벤치마크를 확장한 것이다. MMLU-Pro는 2024년 11월 워털루 대학교와 토론토 대학교의 연구진이 발표했으며, 최첨단 AI 시스템을 비교하는 표준 기준점으로 빠르게 자리 잡았다.
MMLU-Pro의 주요 동기는 원래 MMLU의 한계를 해결하는 것이었다. 모델이 개선됨에 따라 MMLU에서의 점수는 포화 상태에 이르러 최고 성능 시스템 간의 차이를 구분하기 어려워졌다. MMLU-Pro는 몇 가지 주요 변경 사항을 도입한다: 질문당 더 많은 답변 선택지(4개 대신 10개)를 포함하고, 너무 쉽거나 단순한 패턴 매칭으로 답할 수 있는 질문을 걸러내며, 다단계 추론을 요구하는 질문의 비율을 늘린다. 이 데이터셋은 물리학, 법학, 심리학, 컴퓨터 과학을 포함한 14개 도메인에 걸쳐 12,000개 이상의 질문을 포함하며, 더 복잡하고 추론 중심의 과제에 초점을 맞춘다.
설계 및 구축
MMLU-Pro의 구축은 다단계 파이프라인을 포함한다. 연구진은 원래 MMLU 질문에서 시작하여 전문 시험 및 학술 교과서와 같은 다른 출처의 추가 질문으로 보강했다. 그런 다음 자동 필터링과 인간 주석의 조합을 사용하여 모호하거나 사소한 질문을 제거했다. 구체적으로, 대규모 언어 모델을 사용하여 후보 질문을 생성하고 인간 전문가가 이를 검증하고 다듬었다. 최종 데이터셋은 각 질문이 명확하고 모호하지 않은 답을 가지며 난이도가 원래 MMLU보다 훨씬 높도록 선별되었다.
MMLU-Pro의 주목할 만한 특징은 질문당 10개의 답변 선택지를 사용하여 모델이 우연히 정답을 맞출 확률을 줄인다는 점이다(원래 4지선다 형식의 25%에서 10%로). 이 설계 선택은 벤치마크를 더 변별력 있게 만들어, 모델 능력의 작은 차이가 점수 차이에 반영될 가능성을 높인다. 데이터셋에는 또한 수학적 단어 문제와 논리적 추론과 같은 명시적 추론 단계를 요구하는 질문에만 초점을 맞춘 "어려운" 하위 집합인 MMLU-Pro/Reasoning이 포함된다.
평가 및 영향
MMLU-Pro는 학술 연구자와 산업 연구소 모두에서 널리 채택되었다. OpenAI, Anthropic, Google DeepMind를 포함한 주요 AI 개발자들은 자사의 주력 모델에 대한 MMLU-Pro 점수를 보고했다. 예를 들어, OpenAI의 GPT-4o와 Anthropic의 Claude 3.5 Sonnet은 모두 MMLU-Pro에서 평가되었으며, 점수는 일반적으로 70-80% 범위인 반면, 동일한 질문에 대한 인간 전문가 성능은 약 80-90%로 추정된다. 이 벤치마크는 또한 Generative AI 시스템의 진행 상황을 추적하는 데 사용되었으며, 모델 출시 발표 및 기술 보고서에서 일반적인 지표가 되었다.
MMLU-Pro의 도입은 Artificial intelligence 평가의 더 넓은 분야에 영향을 미쳤다. 이는 모델 능력의 빠른 개선 속도를 따라잡을 수 있는 더 견고한 벤치마크의 필요성에 대한 논의를 촉발했다. 암기나 단순 회상에 초점을 맞춘 초기 벤치마크와 달리, MMLU-Pro는 추론과 문제 해결을 강조하며, 훈련 데이터를 넘어 일반화할 수 있는 모델을 구축하려는 Machine learning 연구의 목표와 일치한다. 이 벤치마크는 또한 인간 피드백으로부터의 강화 학습과 같은 현상과 그것이 추론 성능에 미치는 영향을 연구하는 데 사용되었다.
다른 벤치마크와의 비교
MMLU-Pro는 AI2 Reasoning Challenge(ARC), HellaSwag, Big-Bench Hard(BBH) 작업과 같은 다른 평가 스위트와 자주 비교된다. ARC와 HellaSwag가 상식 추론과 텍스트 예측에 초점을 맞추는 반면, MMLU-Pro는 더 넓은 범위의 학문적 주제를 다루어 일반 지식 평가에 더 포괄적이다. BIG-bench 스위트의 하위 집합인 BBH는 23개의 도전적인 작업을 포함하지만, MMLU-Pro의 구조화된 형식과 다지선다 설계는 일관된 관리와 채점을 더 쉽게 만든다. 실제로 MMLU-Pro 점수는 다른 추론 중심 벤치마크와 강한 상관관계를 보이지만, 다양한 도메인에 걸쳐 모델의 강점과 약점에 대한 더 세분화된 관점을 제공한다.
MMLU-Pro의 한계 중 하나는 정적 벤치마크라는 점으로, 모델이 유사한 질문에 대해 훈련된 후에는 점수가 진정한 일반화를 반영하지 못할 수 있다. 이를 완화하기 위해 연구진은 공개되지 않은 보류 질문이 포함된 버전을 출시하여 통제된 환경에서 더 신뢰할 수 있는 평가를 가능하게 했다. 또한 이 벤치마크는 모델이 사전 훈련 중에 질문을 보았을 수 있는 잠재적 오염에 대해 비판을 받았지만, 저자들은 덜 일반적인 시험과 교과서에서 질문을 수집하여 이를 최소화하기 위한 조치를 취했다.
향후 방향
MMLU-Pro의 성공은 더 도전적인 벤치마크를 만들기 위한 노력을 촉진했다. 연구자들은 새로운 질문이 즉석에서 생성되는 동적 질문 생성을 통합하고, 실제 문제 해결에서 흔한 다이어그램과 차트와 같은 다중 모달 요소를 포함하는 방법을 탐구하고 있다. 또한 정확성뿐만 아니라 모델 추론의 효율성과 해석 가능성을 측정하는 벤치마크 개발에 대한 관심도 있다. Deep learning 모델이 계속 진화함에 따라 MMLU-Pro와 같은 벤치마크는 신경망 아키텍처 및 훈련 방법의 진행 상황을 측정하고 향후 연구를 안내하는 필수 도구로 남을 가능성이 높다.
요약하면, MMLU-Pro는 대규모 언어 모델 평가에서 중요한 진전을 나타내며, 그 능력에 대한 더 엄격하고 세부적인 측정을 제공한다. 더 어려운 질문과 추론에 대한 강조는 이 분야의 표준 참고 자료가 되게 했으며, AI 시스템이 더 발전함에 따라 그 영향력은 지속될 가능성이 높다.