AI 벤치마크는 AI 시스템의 성능을 측정하고 비교하는 데 사용되는 표준화된 데이터셋, 과제 또는 과제 모음으로, 연구자와 대중이 여러 연구소와 시간에 걸쳐 모델을 비교할 수 있게 해주는 공통된 기준을 제공한다. 벤치마크는 ImageNet 대회 이후로 AI 발전에서 중심적인 역할을 해왔으며, 이 대회는 딥러닝 시대를 촉진하는 데 기여했고, 오늘날에도 LLM 평가에서 사용되는 주요 도구로 남아 있다.
벤치마크의 유형
벤치마크는 측정하는 대상에 따라 매우 다양하다. 지식 및 추론 벤치마크, 예를 들어 MMLU는 학문적 주제 전반에 걸친 광범위한 사실적 지식과 추론 능력을 테스트한다. 코딩 벤치마크, 예를 들어 HumanEval과 SWE-bench는 모델이 코드를 작성하거나 수정하는 능력을 측정한다. ARC-AGI와 같은 추상적 추론 벤치마크는 회상이 아닌 새로운 문제 해결을 테스트하여 암기를 방지하는 것을 목표로 한다. 멀티모달 벤치마크는 이미지나 비디오 이해를 테스트하며, 안전 벤치마크는 유해한 출력, 탈옥 취약성 또는 편향을 탐지한다. 정적 데이터셋을 넘어, LMArena와 같은 인간 선호도 플랫폼은 고정된 테스트 세트 대신 군중 기반 쌍별 비교를 통해 모델을 순위화한다.
포화
반복적으로 나타나는 패턴은 벤치마크 포화이다: 모델이 개선됨에 따라 주어진 벤치마크의 성능은 상한선을 향해 상승하며, 종종 잘 보정된 인간 성능을 초과하고, 그 시점에서 벤치마크는 모델 간을 유용하게 구분하지 못하게 된다. 2020년에 도입된 MMLU는 몇 년 안에 주요 모델들이 90% 이상의 정확도를 초과하면서 더 어려운 후속 벤치마크의 필요성을 촉발했다. 이 순환, 즉 벤치마크가 도입되고, 널리 채택되고, 포화되고, 대체되는 과정은 거의 모든 주요 능력 영역에서 반복되었으며, 이는 벤치마크 세트가 자주 갱신되거나 더 어려운 변형으로 보완되는 이유 중 하나이다.
오염
관련된 심각한 문제는 데이터 오염이다: 대규모 언어 모델은 Common Crawl을 포함한 인터넷의 방대한 스크랩으로 훈련되기 때문에, 벤치마크 질문과 답변이 훈련 데이터에 직접적으로 또는 온라인에서의 벤치마크 논의를 통해 유출될 수 있으며, 이는 실제 능력을 반영하지 않으면서 측정된 모델 성능을 부풀린다. 오염 탐지는 어렵고, ARC-AGI를 포함한 일부 벤치마크는 이를 저항하기 위해 새로운 문제 생성 방식으로 특별히 설계되었다. 오염 우려로 인해 일부 분야에서는 독립적인 검증 없이 연구소가 자체 보고한 벤치마크 점수에 회의적인 시각을 갖게 되었다.
기타 비판
벤치마크는 또한 직접적으로 게임되거나 최적화될 수 있으며, 이는 더 넓은 개발 과정에서 보상 해킹의 한 형태로, 연구소가 실제 유용성의 비례적 향상 없이 인기 있는 벤치마크에서 잘 수행하도록 모델을 조정하는 경우를 말한다. 정적 벤치마크는 또한 실제 사용과 관련된 에이전트적, 다단계 또는 장기적 능력을 포착하지 못할 수 있으며, 이는 SWE-bench가 실제 GitHub 이슈를 사용하는 것과 같은 더 동적이고 과제 기반 평가로의 전환과, 더 어려운 비공개 문제 세트에서 평가되는 테스트 시점 계산 중심의 추론 모델로의 전환을 촉진한다.
분야에서의 역할
한계에도 불구하고, 벤치마크는 AI 진행 상황이 보고되고, 마케팅되고, 논의되는 방식에서 여전히 중심적이며, 거의 모든 모델 출시 발표와 능력 임계값에 대한 정책 논의에 등장한다. 이러한 한계는 인간 선호도 플랫폼, LLM-as-judge 접근 방식, 그리고 오염과 포화에 덜 취약한 더 좁고 전문가가 선별한 평가를 포함한 보완적 평가 방법에 대한 관심 증가를 이끌었다.