OpenBookQA는 2018년에 도입된 질의응답 벤치마크로, 명시적인 과학적 사실과 암묵적인 상식적 지식을 모두 사용하여 다단계 추론을 수행하는 기계의 능력을 평가한다. 이 벤치마크는 앨런 인공지능 연구소(AI2)의 토도르 미하일로프(Todor Mihaylov), 피터 클라크(Peter Clark), 투샤르 코트(Tushar Khot), 아시시 사브하르왈(Ashish Sabharwal)을 포함한 연구진에 의해 만들어졌다. OpenBookQA는 초등학교 수준의 과학 과목에서 출제된 5,957개의 객관식 문제로 구성되어 있으며, 각 문제에는 1,326개의 기초 과학 사실로 이루어진 "공개 교과서(open book)"에서 발췌한 소규모 핵심 사실 집합이 함께 제공된다. 이 과제에서 모델은 네 가지 보기 중 정답을 선택해야 하지만, 제공된 사실만으로는 부족하며 더 넓은 세계 지식과 논리적 추론을 결합하여 정답에 도달해야 한다.
이 벤치마크는 기존 질의응답 데이터셋의 한계를 해결하기 위해 설계되었다. 기존 데이터셋에서는 모델이 피상적인 패턴 매칭이나 암기를 통해 정답을 맞히는 경우가 많았다. OpenBookQA에서는 문제가 제공된 사실에 정답이 직접적으로 명시되지 않도록 구성되어, 시스템이 사실을 문제에 적용하는 추론 과정을 거치도록 강제한다. 따라서 이 벤치마크는 추론 능력을 더 엄격하게 평가하며, 인공지능 및 머신러닝 분야에서 표준적인 평가 도구로 자리 잡았다.
설계 및 구조
OpenBookQA는 총 5,957개의 문제로 구성되며, 훈련용 4,957개, 개발용 500개, 평가용 500개로 나뉜다. 각 문제는 네 개의 보기를 가진 객관식 형식이다. 벤치마크에는 1,326개의 과학 사실로 이루어진 "공개 교과서"가 포함되어 있는데, 이 사실들은 "식물은 빛을 필요로 한다" 또는 "물은 100도에서 끓는다"와 같은 짧고 평이한 진술들이다. 이러한 사실들은 초등학교 과학 교과서에서 수집되었으며 생물학, 물리학, 화학 등의 주제를 다룬다.
문제는 기본적인 과학 지식을 가진 사람이라면 쉽게 풀 수 있도록 설계되었지만, 제공된 사실만으로는 답을 찾을 수 없다. 예를 들어, "식물을 어두운 방에 두면 어떤 일이 일어날까?"라는 질문이 주어졌을 때, 제공된 사실에는 "식물은 빛을 필요로 한다"라고만 적혀 있을 뿐, 어두운 방에서 식물이 어떻게 되는지에 대한 직접적인 언급은 없다. 따라서 모델은 이 사실을 바탕으로 "빛이 없으면 식물은 잘 자라지 못할 것"이라는 결론을 추론해야 한다. 이처럼 OpenBookQA는 단순한 정보 검색을 넘어서는 추론을 요구한다.
또한, 이 벤치마크는 "크라우드소싱(crowdsourced)" 방식으로 제작된 문제들을 포함한다. 문제 생성 및 검증 과정은 여러 단계로 이루어졌으며, 전문가가 아닌 일반인이 문제를 만들고, 이후 별도의 검증 과정을 통해 문제의 명확성과 난이도를 보장했다.
평가 및 성능
OpenBookQA는 대규모 언어 모델 및 기타 AI 시스템을 평가하는 데 널리 사용되는 벤치마크가 되었다. 초기 모델들은 이 벤치마크에서 낮은 성능을 보였으며, 정확도가 60% 미만인 경우가 많았다. 반면, 인간의 정확도는 약 90%에 달했다. 이러한 격차는 명시적 지식과 암묵적 추론을 결합하는 과제의 어려움을 잘 보여준다.
시간이 지나면서 딥러닝의 발전과 더 큰 모델의 등장으로 성능은 크게 향상되었다. 2021년에는 GPT-3와 같은 모델이 약 80%의 정확도를 달성했으며, 2023년에는 OpenAI 및 Google DeepMind를 포함한 최첨단 시스템들이 90%를 넘는 정확도를 기록했다. 이러한 개선은 모델의 규모 확대, 더 나은 훈련 데이터, 그리고 단계별 추론을 장려하는 chain-of-thought 프롬프팅과 같은 기법 덕분이다.
그럼에도 불구하고, OpenBookQA는 여전히 어려운 벤치마크로 남아 있다. 이는 단순한 패턴 매칭으로는 해결할 수 없는 추론 능력을 요구하기 때문이다. 연구자들은 모델이 높은 점수를 받더라도 실제 이해보다는 통계적 규칙성에 의존할 수 있다는 점을 지적하며, 이 벤치마크가 현재 AI 시스템의 한계를 탐구하는 유용한 도구라고 평가한다.
영향 및 유산
OpenBookQA는 이후 등장한 여러 벤치마크의 설계에 영향을 주었다. 예를 들어, ARC(AI2 Reasoning Challenge)와 CommonsenseQA는 OpenBookQA와 유사하게 추론 능력을 중점적으로 평가하며, 정보 검색보다는 추론을 강조한다. 또한, OpenBookQA는 외부 지식 기반이나 검색 메커니즘을 통합하여 추론 성능을 향상시키는 지식 증강 모델에 대한 연구를 촉진했다.
이 벤치마크는 Stanford AI Lab 및 BAIR (Berkeley AI Research)와 같은 기관의 리더보드에서 자주 사용되며, 다양한 AI 시스템의 일반 지능을 평가하는 데 활용된다. OpenBookQA의 초점은 암기와 이해의 차이에 대한 논의에도 기여했다. 수백 편의 연구 논문에서 인용되었으며, Amazon Web Services와 Google Cloud를 포함한 여러 AI 서비스의 평가 제품군에 표준 구성 요소로 포함되어 있다.
한계 및 비판
일부 연구자들은 OpenBookQA가 초등학교 과학 수준에만 초점을 맞추고 있어 더 복잡한 추론 과제로의 일반화가 어렵다고 비판한다. 또한, 객관식 형식은 모델이 보기 중에서 정답을 고르는 과정에서 특정 편향을 이용할 가능성이 있다. 예를 들어, 가장 긴 보기를 선택하거나 질문과 단어 중복이 많은 보기를 선택하는 전략이 사용될 수 있다. 이를 완화하기 위해 제작진은 "부분 점수(partial credit)" 체계를 도입했지만, 이러한 문제가 완전히 해결된 것은 아니다.
또한, OpenBookQA는 고정된 사실 집합에 의존하기 때문에, 대규모 말뭉치로 훈련된 모델은 이미 유사한 질문이나 사실을 접했을 가능성이 있다. 이는 데이터 오염(data contamination) 문제를 야기할 수 있다. 이에 따라 일부 연구자들은 시간이 지남에 따라 업데이트되는 동적 벤치마크의 필요성을 제기하기도 한다.
그럼에도 불구하고, OpenBookQA는 추론 능력을 평가하고 신경망 및 생성형 AI 시스템의 발전을 이끄는 데 중요한 역할을 계속하고 있다.