WikiHop은 인공지능 시스템의 다중 홉 추론(multi-hop reasoning) 능력을 평가하고 발전시키기 위해 설계된 기계 독해 데이터셋이다. 2016년 유니버시티 칼리지 런던과 딥마인드(DeepMind)의 연구자들이 소개한 이 데이터셋은 초기 독해 이해 벤치마크의 근본적인 한계, 즉 단일 질문에 답하기 위해 여러 문서에 걸쳐 추론해야 하는 필요성을 해결하기 위해 만들어졌다. 답이 단일 구절에 포함되어 있는 더 단순한 데이터셋과 달리, WikiHop은 모델이 여러 개의 서로 다른 출처에서 정보를 수집하고 종합해야 하며, 이는 인간이 주제를 조사할 때 수행하는 복잡한 증거 수집 추론을 모방한다.
이 데이터셋은 위키백과 문서에서 구축되었으며, 각 인스턴스는 질문, 지원 문서 집합, 후보 답변 집합으로 구성된다. 질문은 어떤 단일 문서에도 전체 답이 포함되지 않도록 설계되었으며, 모델은 여러 문서에서 관련 정보를 식별하고 단서를 연결하여 올바른 응답을 추론해야 한다. 예를 들어, 한 문서에 언급된 인물의 국적을 묻는 질문이 있을 수 있으며, 답을 얻으려면 그 인물의 출생지에 대한 다른 문서의 정보가 필요할 수 있다. 이러한 구조는 각 홉이 한 증거를 다른 증거로 연결하는 추론 단계에 해당하는 다중 홉 추론을 모델에 강제한다.
구축 및 설계
WikiHop의 생성은 반자동 파이프라인을 수반했다. 연구자들은 먼저 전기, 사건, 개체 등 다양한 주제의 위키백과 문서를 선택했다. 그런 다음 템플릿 집합을 사용하여 질문과 후보 답변을 생성했다. 각 질문에 대해 필요한 정보를 집합적으로 포함하는 '지원' 문서 집합을 식별했다. 데이터셋의 핵심 특징은 '억제된' 답변에 대한 초점이다. 후보 답변에는 문서에 존재하지만 정답이 아닌 그럴듯한 방해 요소가 포함되어 있어, 모델이 단순한 어휘 일치에 의존하지 않고 신중하게 추론하도록 강제한다.
데이터셋은 WikiHop(원본)과 WikiHop(마스크)의 두 가지 버전으로 출시되었다. 마스크 버전은 후보 답변 옵션을 제거하여 모델이 답을 직접 생성해야 하므로 더 어려운 작업이다. 원본 버전에는 훈련용 43,738개, 검증용 5,129개, 테스트용 2,451개의 질문이 포함되어 있으며, 질문당 평균 약 4.5개의 지원 문서가 있다. 질문은 역사, 지리, 과학, 대중문화 등 다양한 영역에 걸쳐 있다.
중요성 및 영향
WikiHop은 Machine learning 및 Deep learning 모델의 다중 홉 추론을 평가하는 표준 벤치마크가 되었다. 이는 초기 신경 독해 시스템의 중요한 격차를 부각시켰는데, 이러한 시스템은 단일 문서 작업에서는 뛰어났지만 여러 출처의 정보를 통합해야 할 때 어려움을 겪었다. 이 데이터셋은 문서 간 증거를 명시적으로 추적하고 결합하도록 설계된 메모리 증강 네트워크 및 그래프 기반 추론 모델을 포함한 새로운 아키텍처와 훈련 기법의 개발을 촉진했다.
이 벤치마크는 다중 홉 추론 과제를 더욱 정교하게 다듬은 HotpotQA 및 MultiHop과 같은 후속 데이터셋의 설계에도 영향을 미쳤다. WikiHop의 다중 문서 추론 강조는 Large language model 개발에 특히 관련이 있으며, 이러한 모델은 개방형 질문 응답 및 사실 확인과 같이 다양한 출처의 정보를 종합해야 하는 작업에 점점 더 많이 사용되고 있다.
한계 및 비판
영향력에도 불구하고 WikiHop은 비판을 받아왔다. 일부 연구자들은 데이터셋의 질문이 진정한 다중 홉 추론 없이 개체 동시 발생과 같은 표면적 단서로 답할 수 있는 경우가 있다고 지적했다. 후보 답변은 종종 지원 문서에 존재하여 모델이 단순한 패턴 일치를 사용할 수 있었다. 또한 템플릿에서 생성된 질문의 합성적 특성은 실제 세계 질문의 복잡성과 모호성을 완전히 포착하지 못했다. 이러한 한계는 더 어렵고 현실적인 벤치마크의 필요성에 대한 인식을 높였고, 더 자연스러운 언어와 더 복잡한 추론 요구 사항을 가진 데이터셋의 생성을 촉구했다.
또 다른 한계는 현대 벤치마크에 비해 데이터셋의 규모가 상대적으로 작아 과적합으로 이어질 수 있다는 점이다. 결과적으로 WikiHop은 모델의 추론 능력을 더 포괄적으로 평가하기 위해 다른 데이터셋과 함께 사용되는 경우가 많다.
유산 및 지속적 관련성
오래되었음에도 불구하고 WikiHop은 Neural network 모델의 추론 능력을 조사하는 유용한 도구로 남아 있다. Artificial intelligence 해석 가능성 연구와 Transformer (architecture) 기반 모델의 실패 모드를 분석하는 연구에 자주 사용된다. 데이터셋의 설계 원칙, 특히 다중 문서 증거와 방해 답변에 대한 초점은 더 정교한 평가 프레임워크 개발에 영향을 주었다. 2020년대 중반 현재 WikiHop은 문헌에서 계속 인용되고 있으며, 그 방법론은 다중 홉 추론이 필수적인 의료 및 법률 추론과 같은 다른 영역에도 적용되었다.
이 데이터셋은 또한 Natural language processing 벤치마크의 진화에서 역사적 이정표 역할을 하며, 단순한 사실형 질문 응답에서 더 복잡하고 추론 집약적인 작업으로의 전환을 보여준다. 그 생성은 University of Toronto 및 다른 기관의 연구자들이 참여한 협력적 노력으로, 분야의 학제간 성격을 반영한다.