WebQuestions는 인공지능 및 기계 학습 분야에서 구조화된 지식 그래프인 Freebase에 대한 질문 응답 시스템을 평가하기 위한 벤치마크 데이터셋이다. 이 데이터셋은 5,810개의 질문-답변 쌍으로 구성되어 있으며, 각 질문은 자연어 쿼리이고 답변은 Freebase의 엔티티 또는 값 집합이다. 2013년 Google 연구자들에 의해 도입되었으며, 의미론적 파싱 및 지식 베이스 질문 응답을 위한 대규모의 현실적인 벤치마크 부족 문제를 해결하기 위해 만들어졌다.
WebQuestions는 Google Suggest API를 사용하여 사람들이 실제로 입력하는 질문을 찾은 다음, 주석자가 각 질문을 Freebase의 엔티티 및 답변에 매칭하는 방식으로 구축되었다. 이러한 설계는 초기 합성 벤치마크보다 질문이 실제 사용자 쿼리를 더 잘 대표하도록 만든다. 데이터셋은 3,778개의 질문으로 구성된 훈련 세트와 2,032개의 질문으로 구성된 테스트 세트로 나뉜다. 공식 배포에는 포함되지 않지만, 일반적으로 사용되는 200개 질문의 개발 세트도 만들어졌다. 이 벤치마크는 자연어를 논리적 형태 또는 지식 베이스의 직접적인 답변으로 매핑하는 시스템의 표준 테스트베드로 빠르게 자리 잡았다.
Construction and Annotation
질문은 Google의 검색 제안 로그에서 선택되었으며, 특히 "what", "who", "when", "where"와 같은 구절로 시작하는 질문을 대상으로 했다. 각 질문은 사전 정의된 어휘를 사용하여 SPARQL 유사 쿼리로 수동 주석이 달렸고, 최종 답변은 해당 쿼리를 Freebase 데이터베이스에 실행한 결과이다. 주석은 크라우드소싱(Amazon Mechanical Turk)을 통해 생성된 후 두 번째 작업자 라운드에 의해 검증되었다. 데이터셋의 주목할 만한 측면은 일부 질문이 모호하다는 점이다 - 질문은 해석에 따라 여러 유효한 답변을 가질 수 있으며, 주석자는 가장 일반적으로 기대되는 답변을 선택하도록 지시받았다.
벤치마크의 공식 논문인 "Semantic Parsing on Freebase from Question-Answer Pairs" (EMNLP 2013)은 데이터셋과 기준 결과를 소개했다. 저자 Michael J. Cafarella, Jonathan Berant, Andrew Chou, 그리고 주 저자인 Percy Liang은 캘리포니아 대학교 버클리 캠퍼스에 있었다. webQuestions 데이터셋은 논문 자체의 lambda-DCS 기반 의미론적 파서를 포함한 여러 후속 시스템의 핵심 평가 자원으로 사용되었다.
Relevance for Question Answering Research
WebQuestions는 2000년대의 GeoQuery 또는 ATIS의 의미론적 파싱과 같은 합성 질문과 제한된 도메인을 사용한 지배적인 구문 파싱 데이터셋에 반대하기 위해 설계되었다. 대조적으로, WebQuestions는 개방형 도메인이며 훨씬 더 큰 어휘와 Freebase 엔티티의 더 넓은 범위를 가지고 있다. 이는 어휘화된 의미론적 파싱과 임베딩 기반 유사성을 결합한 시스템의 개발을 가능하게 했다. 출시 이후 몇 년 동안 연구자들은 WebQSP(더 세분화된 함의 분할을 포함한 WebQuestions) 및 신경 모델을 사용한 개선된 답변 추출을 포함한 많은 확장을 구축했다.
WebQuestions의 주목할 만한 한계는 답변이 Freebase에 직접 연결되어 있다는 점인데, Freebase는 2015년 Google에 의해 중단된 지식 그래프이다(데이터는 스냅샷을 통해 여전히 접근 가능하지만). 이는 많은 모델의 현재 지식 베이스로의 전이 가능성에 영향을 미친다. 그럼에도 불구하고, 이 벤치마크는 질문 응답에서 구성적 일반화를 평가하는 주요 기준으로 남아 있다.
데이터셋은 또한 핵심 과제를 드러낸다: 자유 형식 자연어와 지식 베이스의 스키마 용어 사이의 어휘적 격차이다. 많은 질문은 동의어, 약어 또는 간접적 관계를 인식해야 한다. 이는 잠재 멘션 탐지와 엔티티 연결을 반지도 방식으로 학습하거나 확장하는 연구 라인에 영감을 주었으며, 이는 나중에 현대 대규모 언어 모델 시대의 접근 방식으로 이어졌다.
Methodology and Metrics
주요 평가 지표는 평균 F1 점수이며, 각 질문에 대해 시스템이 예측한 Freebase 엔티티/값 집합을 금 표준 답변 집합과 비교한다. 정밀도는 금 표준 집합에서 발견된 예측 답변의 비율이고, 재현율은 시스템이 찾은 금 표준 답변의 비율이며, F1 점수는 조화 평균이다. 공식 평가 코드는 webQuestions GitHub 저장소에 공유되었다. 초기 기준 시스템은 약 0.30의 F1 점수를 달성했으며, 원래 테스트 세트의 현대 시스템은 주로 GrailQA 또는 Transformer 기반 리더와 같은 신경 종단 간 접근 방식을 사용하여 2020년경 약 0.78에서 0.79에 도달했다. 2023년에는 약 0.84의 최첨단 성능이 보고되었지만, 일부는 확장된 엔티티 연결 전략을 포함한다.
Legacy and Influence
WebQuestions는 "ComplexQuestions" 및 "QALD"(Question Answering over Linked Data)와 같은 다른 벤치마크 생성 노력에 영향을 주었다. 또한 지식 그래프 임베딩을 사용한 모델의 적대적 테스트의 기반으로 사용되었다. 많은 인기 있는 오픈 소스 QA 프레임워크(예: KELT-DELER 또는 freebase)는 WebQuestions를 기본 검사에 사용한다. 이는 특히 사전 훈련된 언어 모델과 외부 지식 베이스를 결합할 때 의미론적 파싱의 견고성을 위한 자주 사용되는 벤치마크로 남아 있다.
WebQuestions 데이터셋은 제작자에 의해 유지 관리되지만, 2023년 현재 GitHub("webquestions")에 보관되어 있으며 자유롭게 접근할 수 있다. 데이터셋에는 KG 인덱싱과 함께 사용하기 쉬운 별도의 QR 엔티티 쌍에 연결되는 질문 ID가 포함된 파일이 있지만, 사용자는 자신의 Freebase 덤프 버전이 주석과 일치하는지 확인해야 한다.
See Also
--는 공동 표현 공간의 동일한 아이디어를 기반으로 구축된 몇 가지 예이다.