QAngaroo는 인공지능 시스템의 다중 홉 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 단일 사실을 검색하기만 하면 되는 표준적인 질의응답 과제와 달리, QAngaroo는 여러 개의 서로 다른 문서나 구절에서 정보를 결합해야 하는 질문을 제시한다. 이름은 "질의응답(question answering)"과 "캥거루(kangaroo)"의 합성어로, 여러 증거 사이를 뛰어넘는 과제의 특성을 반영한다. 2018년 유니버시티 칼리지 런던과 페이스북 AI 리서치의 연구자들(Johannes Welbl, Pontus Stenetorp, Sebastian Riedel)에 의해 소개되었다.
이 벤치마크는 WikiHop과 MedHop이라는 두 가지 주요 하위 집합으로 구성된다. WikiHop은 위키백과 문서에서 구축되었으며, 각 질문은 답을 함께 포함하는 일련의 지원 문서 집합에서 파생된다. MedHop은 의학 초록에서 구축되었으며, 약물 간 상호작용 예측에 초점을 맞추어 생물의학 문헌에 대한 추론을 요구한다. 두 하위 집합 모두 답이 단일 문서에서 찾을 수 없도록 설계되어, 모델이 여러 출처에 걸쳐 증거를 종합하도록 강제한다.
과제 설계 및 평가
QAngaroo의 각 인스턴스는 질의, 후보 답변 옵션 집합, 그리고 지원 문서 모음으로 구성된다. 모델은 제공된 맥락에 대해 추론하여 올바른 답을 선택해야 한다. 평가 지표는 정확도로, 올바르게 답한 질문의 비율을 측정한다. 이 벤치마크는 의도적으로 어렵게 설계되었는데, 지원 문서에는 종종 노이즈와 무관한 정보가 포함되어 있어 모델이 관련 있는 부분만 식별하고 결합해야 하기 때문이다.
데이터셋은 반자동 파이프라인을 사용하여 생성되었다. WikiHop의 경우, 제작자들은 위키백과의 내부 하이퍼링크를 사용하여 다중 홉 질문을 생성했다. 중간 엔티티를 통해 연결된 엔티티 쌍을 식별한 다음, 두 끝점 사이의 관계를 추론해야 하는 질문을 구성했다. MedHop의 경우, 의학 초록에 유사한 접근 방식을 적용하여 약물 간 상호작용에 초점을 맞추었다.
연구에 미친 영향
QAngaroo는 Machine learning 및 Deep learning 모델의 다중 홉 추론 능력을 평가하는 표준 벤치마크가 되었다. 특히 주의 메커니즘과 메모리 증강 네트워크를 사용하는 Neural network 아키텍처 연구에 광범위하게 사용되었다. 이 벤치마크는 초기 Large language model의 한계를 부각시켰는데, 이들은 명시적인 다단계 추론이 필요한 과제에서 종종 어려움을 겪었다. 이는 문서 구조에서 작동하는 그래프 신경망과 여러 패스에 걸쳐 증거 선택을 정제하는 반복적 읽기 접근 방식과 같은 특수 모델의 개발을 촉진했다.
이 벤치마크는 AI에서의 추론에 대한 더 넓은 이해에도 기여했다. 단순한 Sequence-to-Sequence (Seq2Seq) 모델은 다중 홉 과제에서 종종 실패하는 반면, Graph Neural Network와 같은 명시적 추론 구성 요소나 증거 선택을 위한 Reinforcement learning을 사용하는 모델은 훨씬 더 나은 성능을 보인다는 것을 입증했다. 2023년 기준, WikiHop에서의 최첨단 결과는 70% 이상의 정확도에 도달했지만, 벤치마크는 여전히 미해결 상태이며 인간의 성능은 약 90%로 추정된다.
한계 및 비판
영향력에도 불구하고 QAngaroo는 비판에 직면했다. 일부 연구자들은 벤치마크의 구성이 모델이 지름길을 악용할 수 있게 할 수 있다고 지적했다. 예를 들어, 후보 옵션을 통한 답변 누출이나 지원 문서의 표면적 패턴이 그 예이다. 예를 들어, 답은 종종 문서 전체에서 가장 자주 나타나는 엔티티인 경우가 많아, 빈도 기반 휴리스틱으로 악용될 수 있다. 이로 인해 QAngaroo에서 높은 점수가 반드시 진정한 추론 능력을 반영하지 않을 수 있다는 우려가 제기되었다.
또한, 위키백과와 의학 초록에 초점을 맞춘 벤치마크는 도메인 범위를 제한한다. 질문은 상대적으로 짧고 추론 단계는 일반적으로 2~3홉으로 제한되어, 실제 세계의 다중 홉 추론 과제의 복잡성을 포착하지 못할 수 있다. 그 결과, 일부 연구자들은 더 다양하고 도전적인 벤치마크를 요구했으며, 이는 HotpotQA 및 2WikiMultiHopQA와 같은 후속 데이터셋의 개발로 이어졌다.
유산 및 지속적 사용
이러한 한계에도 불구하고 QAngaroo는 AI 모델을 평가하고 비교하는 데 널리 사용되는 도구로 남아 있다. 여러 공개 리더보드에 포함되어 있으며, 질의응답 및 추론에 관한 연구 논문에서 기준선으로 자주 사용된다. 이 벤치마크의 설계 원칙, 특히 여러 지원 문서의 사용과 증거 종합 요구 사항은 많은 후속 데이터셋 생성에 영향을 미쳤다. 또한 다중 홉 구조를 통해 연구자가 모델이 취한 추론 경로를 추적할 수 있게 해주므로, 모델의 해석 가능성을 연구하는 데 귀중한 자원으로도 사용된다.
더 넓은 분야의 맥락에서 QAngaroo는 Artificial intelligence의 경계를 넓혀온 추론 벤치마크 계보의 일부이다. Google DeepMind, OpenAI, 그리고 Stanford AI Lab 및 BAIR (Berkeley AI Research)와 같은 학술 연구소를 포함한 다양한 기관의 모델을 평가하는 데 사용되었다. 더 새로운 벤치마크가 등장했지만, 다중 홉 추론의 중요성을 부각시키고 모델 설계에 미친 QAngaroo의 역할은 AI 연구에서의 지속적 관련성을 보장한다.
같이 보기
- HotpotQA
- multi-hop-reasoning
- question-answering
- Natural language processing