StrategyQA는 인공지능 시스템, 특히 대규모 언어 모델의 다중 홉 추론 능력을 평가하기 위해 설계된 질의응답 벤치마크이다. 2021년 앨런 인공지능 연구소와 워싱턴 대학교의 연구자들이 소개한 이 데이터셋은 2,780개의 예/아니오 질문으로 구성되어 있으며, 시스템이 답을 도출하기 위해 여러 조각의 암묵적 지식을 결합해야 한다. 단순한 사실 회상을 테스트하는 더 간단한 벤치마크와 달리, StrategyQA 질문은 전략적 분해를 요구하도록 의도적으로 구성된다. 즉, 모델은 복잡한 질문을 더 작고 답할 수 있는 하위 질문으로 분해한 다음 결과를 종합해야 한다.
이 벤치마크는 종종 단일 홉 검색이나 얕은 패턴 매칭에 초점을 맞춘 기존 평가 방법의 공백을 메우기 위해 만들어졌다. StrategyQA의 질문은 위키백과 및 기타 출처에서 파생되었지만, 답은 어떤 단일 구절에도 직접 명시되어 있지 않다. 예를 들어, "50인치 TV가 2004년 미니 쿠퍼에 들어갈까?"와 같은 질문은 두 물체의 치수에 대한 추론을 요구하며, 이는 암묵적 지식과 다단계 추론을 포함하는 단계이다. 각 질문에는 필요한 배경 정보를 제공하는 "지원 사실" 세트가 함께 제공되지만, 모델은 이러한 사실을 올바르게 식별하고 결합해야 한다.
설계 및 구축
StrategyQA 데이터셋은 자동화된 노력과 인간의 노력이 모두 포함된 다단계 과정을 통해 구축되었다. 제작자들은 먼저 크라우드 워커로부터 "전략 질문" 세트를 수집했으며, 이들에게 다중 홉 추론을 요구하는 질문을 제기하도록 요청했다. 그런 다음 이러한 질문은 주석자들에 의해 하위 질문으로 분해되어 추론 단계의 그래프를 생성했다. 최종 데이터셋에는 2,780개의 질문이 포함되며, 각 질문은 평균 2.7개의 지원 사실과 예 또는 아니오 중 하나의 정답을 가진다. 질문은 과학, 역사, 기술, 일상생활을 포함한 광범위한 주제에 걸쳐 있어 모델이 도메인별 지름길에 의존할 수 없도록 한다.
StrategyQA의 독특한 특징 중 하나는 "암묵적" 추론에 초점을 맞춘다는 점이다. 필요한 증거가 여러 단락에 명시적으로 제공되는 HotpotQA와 같은 데이터셋과 달리, StrategyQA는 모델이 자체 지식 기반을 활용해야 한다. 이는 광범위한 세계 지식이나 다단계 추론 능력이 부족한 모델에게 특히 어려운 벤치마크가 된다. 데이터셋에는 또한 489개의 검증 세트와 2,291개의 테스트 세트가 포함되며, 테스트 세트는 과적합을 방지하기 위해 비공개로 유지된다.
평가 및 지표
StrategyQA의 주요 지표는 예/아니오 답변 예측의 정확도이다. 초기 평가에서는 당시 최첨단 모델, 예를 들어 미세 조정된 T5 트랜스포머 버전이 약 66%의 정확도를 달성했으며, 이는 추정된 인간 성능인 87%보다 크게 낮았다. 이러한 격차는 다중 홉 추론의 어려움을 강조했고 모델 아키텍처와 훈련 기법에 대한 추가 연구를 촉진했다. GPT-3 아키텍처를 기반으로 한 모델을 포함한 후속 모델은 성능을 개선했지만 여전히 인간 수준의 추론에는 미치지 못했다. 2023년 현재, 종종 검색 증강 생성이나 사고 사슬 프롬프팅을 통합한 최고의 시스템은 중반 70%대에서 낮은 80%대의 정확도 수준에 도달했지만, 이 벤치마크는 일반 추론 능력에 대한 도전적인 테스트로 남아 있다.
영향 및 중요성
StrategyQA는 Artificial intelligence 및 Machine learning 커뮤니티, 특히 Large language model 평가에서 널리 사용되는 벤치마크가 되었다. 다중 홉 추론에 대한 강조는 모델이 최종 답변을 생성하기 전에 중간 추론 단계를 생성하도록 장려하는 사고 사슬 프롬프팅과 같은 기술의 발전에 영향을 미쳤다. 이 벤치마크는 또한 Transformer (architecture) 기반 모델의 한계를 연구하는 데 사용되었으며, 이러한 모델이 진정한 추론보다는 표면적 상관관계에 의존하는 경우가 많다는 것을 밝혀냈다. 이는 신경-기호 접근 방식과 외부 지식 소스의 통합에 대한 관심을 증가시켰다.
데이터셋은 또한 모델 능력을 평가하기 위해 여러 작업을 통합하는 BIG-bench 벤치마크와 같은 더 광범위한 평가 제품군에 통합되었다. 그 설계는 과학적 추론과 상식 질의응답을 포함한 다른 도메인의 유사한 벤치마크에 영감을 주었다. 연구자들은 StrategyQA 질문이 종종 "개방형 도메인" 지식을 요구한다고 지적했으며, 이는 모델이 훈련 데이터에 없는 정보에 접근해야 함을 의미하며, 이는 검색 증강 시스템 개발에 영향을 미친다.
한계 및 비판
널리 사용됨에도 불구하고 StrategyQA는 여러 비판에 직면했다. 일부 연구자들은 예/아니오 형식이 추론 과정을 지나치게 단순화한다고 주장하며, 모델이 추측이나 데이터셋의 편향을 활용하여 적당한 정확도를 달성할 수 있다고 지적한다. 예를 들어, 예/아니오 답변의 분포는 완벽하게 균형 잡혀 있지 않으며, 일부 질문에는 모델을 무의식적으로 안내할 수 있는 어휘적 단서가 포함되어 있다. 또한 데이터셋에 제공된 지원 사실이 질문에 답하는 데 항상 충분하지 않아, 모델이 일관성이 없거나 오래된 외부 지식에 의존해야 할 수 있다.
또 다른 한계는 데이터 오염의 가능성이다. 질문이 공개 출처에서 파생되었기 때문에 대규모 언어 모델의 훈련 말뭉치에 나타날 수 있다. 이는 성능 지표를 부풀리고 진정한 추론 능력을 모호하게 만들 수 있다. 이를 완화하기 위해 일부 연구자들은 즉석에서 새로운 질문을 생성하는 동적 벤치마크를 제안했지만, StrategyQA는 정적 리소스로 남아 있다. 이러한 문제에도 불구하고 이 벤치마크는 모델 약점을 진단하고 다중 홉 추론 연구의 진전을 촉진하는 귀중한 도구로 계속 사용되고 있다.
향후 방향
StrategyQA의 교훈은 더 견고하고 포괄적이 되도록 설계된 새로운 벤치마크의 설계에 정보를 제공했다. 예를 들어, StrategyQA 프레임워크는 모델이 레이블만이 아니라 설명을 생성해야 하는 다중 선택 질문과 개방형 생성 작업을 포함하도록 확장되었다. 또한 과학적 발견과 법적 분석과 같은 전문 분야에서 모델의 추론 능력을 평가하기 위해 StrategyQA를 사용하는 것에 대한 관심도 증가하고 있다. Generative AI 시스템이 더 강력해짐에 따라 StrategyQA와 같은 벤치마크는 모델 발전에 맞춰 시간적 및 인과적 추론을 포함한 더 복잡한 추론 체인을 통합하도록 진화할 가능성이 높다.
Deep learning 연구의 더 넓은 맥락에서 StrategyQA는 패턴 인식을 넘어 진정한 이해로 나아가는 것의 중요성을 강조한다. 이 벤치마크는 해석 가능성, 프롬프팅 전략, 신경망과 기호 추론의 통합에 대한 작업을 촉진했다. 어떤 모델도 StrategyQA에서 인간 수준의 성능을 아직 달성하지 못했지만, 이 벤치마크는 지능의 가장 근본적인 측면 중 하나인 단계별 추론 능력의 진전을 측정하는 중요한 기준으로 남아 있다.