BIG-bench(Beyond the Imitation Game benchmark의 약자)은 대규모 언어 모델의 능력과 한계를 다양한 작업 범위에 걸쳐 평가하도록 설계된 협업 벤치마크입니다. 2021년에 도입되었으며, 130개 이상의 기관에서 모인 450명 이상의 국제 연구팀이 단순한 확장 지표를 넘어 모델 성능에 대한 보다 포괄적이고 도전적인 테스트의 필요성을 해결하기 위해 만들었습니다. 이 벤치마크는 특히 Google Research가 주최했으며 OpenAI, Anthropic, Google DeepMind, Stanford AI Lab을 포함한 많은 조직의 기여를 받았습니다.
프로젝트 이름은 Alan Perlis가 대중화한 "모방 게임" 개념을 참조하지만, 더 직접적으로는 앨런 튜링의 원래 기계 지능 제안과 관련이 있습니다. 이 벤치마크의 전제는 당시의 많은 기존 평가 방법이 텍스트 분류나 질문 응답과 같은 좁은 작업만 측정했을 뿐, 추론, 수학적 문제 해결, 상식 이해와 같은 더 깊은 인지 능력을 탐구하지 못했다는 것입니다. BIG-bench는 다양한 지식 및 추론 분야에서의 진전을 추적할 수 있는 포괄적이고 표준화된 테스트 장을 제공하도록 설계되었습니다.
작업 다양성과 설계
BIG-bench는 각각 다른 연구 그룹이 만든 200개 이상의 개별 작업으로 구성됩니다. 작업은 단순한 산술 및 목록 정렬부터 인과 추론, 코드 이해, 자연어 추론과 같은 더 복잡한 문제까지 다양합니다. 특히 이 벤치마크에는 다단계 추론, 전문 분야 지식, 논리적 제약 준수를 요구하는 작업을 포함하여 모델의 한계를 시험하는 작업이 포함됩니다. 각 작업은 표준 JSON 형식을 따르며, 이를 통해 점수 산정을 위한 제출과 처리가 용이합니다.
이 벤치마크는 두 가지 주요 하위 집합으로 구성됩니다: BIG-bench(전체 제품군)와 BIG-bench Lite(후자는 빠른 평가를 위한 24개 작업의 더 작고 계산 비용이 저렴한 집합)입니다. 이 설계는 포괄적인 분석과 연구 커뮤니티의 실용적 채택을 모두 가능하게 합니다. 작업 자체는 few-shot 설정을 부과하며, 모델은 추가 미세 조정 없이 명령된 예제에서 예측을 생성하므로 서로 다른 아키텍처 간의 일관된 비교 가능성을 보장합니다.
주요 발견 및 분석
벤치마크 결과의 초기 발표에서 주최측은 전반적인 모델 성능이 모든 작업에서 모델 규모와 상관관계가 없는 경우가 많으며, 특정 작업은 "창발적 능력" - 모델 크기가 특정 규모를 초과함에 따라 갑작스럽고 상당한 성능 향상 - 이라고 부르는 현상을 보인다고 관찰했습니다. 이 통찰력은 논란의 여지가 있었으며, 이후 Joshua Tenenbaum 등의 논의에서 창발 현상의 본질에 대해 논쟁이 있었습니다. 이 연구는 또한 자연어 이해를 요구하는 일부 작업은 모델 크기에 따라 꾸준히 확장되는 반면, 특정 논리적 또는 공간 추론 작업과 같은 다른 작업은 OpenAI의 GPT-3 시리즈를 포함한 테스트된 가장 큰 모델에게도 어려움을 제기한다는 점을 강조했습니다.
이후 두 번째 버전으로 개정된 벤치마크 논문에는 인간 성능 기준선이 포함되어, 모델이 세계 지식이나 상식을 요구하는 작업에서 종종 뒤처지고 모호한 사실 질문이나 구문이 풍부한 추론 작업에서 때때로 인간을 능가한다는 것을 보여주었습니다. 특히 BIG-bench는 저데이터 또는 few-shot 체제에서 정확도 측정을 가능하게 하여 위험 평가와 모델 선택에 유용한 도구가 되었습니다.
영향 및 채택
Machine learning 커뮤니티에서 BIG-bench의 영향은 상당했습니다. 이는 스탠포드의 HELM 프레임워크와 커뮤니티 내 심층 조사에 사용되는 대규모 BIG-bench Hard 또는 `BBH`와 같은 유사한 평가 제품군의 생성을 촉발했습니다. 이 벤치마크의 출시는 단순한 작업별 성능이 아닌 윤리적 및 견고성 테스트를 장려했습니다. 2022년에는 Google의 T5 스타일 작업과 OpenAI의 비공개 모델이 종종 이 제품군을 사용하여 정확도 외삽을 목표로 했으며, 벤치마크에 대한 제출물은 종단 연구를 위해 보관되었습니다.
OpenAI, Google DeepMind, Anthropic은 각각 발표된 모델 평가 보고서 중 하나 이상에서 BIG-bench를 사용했습니다. 이에 대응하여 벤치마크 제작자들은 이렇게 다양한 작업을 집약하는 것이 멱법칙 관계를 드러낼 수 있다고 강조했습니다: 오류율은 관찰된 계산 및 매개변수 증가에 따라 선형적으로 감소하는 경향이 있지만, 일관된 예외가 없는 것은 아닙니다.
한계 및 비판
Melanie Mitchell 및 Brendan Lake와 같은 연구자를 포함한 비평가들은 BIG-bench의 작업이 암기된 패턴이나 퀴즈 지식에 지나치게 의존할 수 있으며, 인간이 어린 시절에 얻는 경험 기반 지식이 부족하다고 주장했습니다. 테스트에서 단순한 자연어 의역도 속일 수 있고, 논리적 불일치의 불확실한 발생도 있습니다. 이 벤치마크는 또한 작업당 평균 테스트 예제 수가 적어(종종 1000개 미만) 통계적 검정력이 제한된다는 비판을 받았습니다.
또 다른 한계는 다국적 기여자들의 작업에도 불구하고 영어 중심 작업에서 비롯되며, 교차 언어 적용 범위가 많지 않다는 점입니다. BIG-bench Lite는 계산을 줄이지만 작업은 여전히 긴 꼬리 분포를 보입니다. 2023년에는 원래 제출물 외부에서 GPT-4 및 Claude와 같은 최신 모델의 한계를 테스트하기 위해 ``BIG-bench Hard''(또는 BBH)라는 후속 프로젝트가 도입되었습니다.
유산
BIG-bench는 전 세계가 자체 작업 문제를 평가용으로 제출할 수 있는 플랫폼을 만든 최초의 사례 중 하나였습니다. 인간 점수 및 메타 분석의 프레임워크는 MMLU 또는 SuperGLUE와 같은 이후의 범용 벤치마크가 구축되는 방식을 형성했으며, 기초 모델 확산 정책에서 논문의 정리를 보완합니다. 윤리적 수준에서는 모델 평가에서 신중한 위험 설계를 촉구했습니다. 인공 지능 진화의 모델 시대가 존재하는 현재 시점에서 BIG-bench는 벤치마크가 많은 관점을 어떻게 대표할 수 있는지를 참조하는 기준으로 계속 사용되고 있습니다.
요약하면, BIG-bench는 AI 평가에서 기초적인 접근 방식을 확립하여 개발자들이 텍스트 모방을 넘어 대규모 모델에 대한 더 광범위하고 엄격한 테스트를 추진하도록 했습니다. 연구자들의 대규모 자발적 헌신과 아마도 많은 수의 구분자를 사용한 점은 더 투명한 진전을 위한 촉매제로서 두드러집니다.
(참고: "Beyond the Imitation Game: Measuring and extrapolating capabilities in large models"이라는 제목의 원본 기반 논문은 수년간의 준비 끝에 2022년에 출판되었습니다.)