ReCoRD(Reading Comprehension with Commonsense Reasoning)는 인공지능 시스템의 추론 능력, 특히 자연어 이해 영역에서의 추론 능력을 평가하기 위한 벤치마크 데이터셋이다. 2018년 메릴랜드 대학교와 워싱턴 대학교의 연구자들이 도입했다. 이 데이터셋은 단순한 사실 검색이나 패턴 매칭을 넘어, 읽는 동안 상식 추론을 수행하는 모델의 능력을 측정하도록 설계되었다.
ReCoRD의 핵심 작업에는 일반적으로 뉴스 기사에서 가져온 텍스트 구절이 포함되며, 특정 개체가 마스킹된다. 모델은 구절의 다른 곳에 나타나는 후보 개체 목록에서 마스킹된 개체를 예측해야 한다. 중요한 점은 정답을 맞히려면 종종 문맥을 이해하고, 공지시를 해결하며, 명시적으로 언급되지 않은 실세계 지식을 적용해야 한다는 것이다. 예를 들어, 구절에 사람과 도시가 언급되고 마스킹된 개체가 위치라면, 모델은 내러티브에 기반하여 어느 도시가 관련이 있는지 추론해야 한다.
ReCoRD는 훈련, 검증, 테스트 집합으로 분할된 120,000개 이상의 예제를 포함한다. 구절은 뉴스 기사에서 가져왔으며, 쿼리는 명명된 개체를 마스킹하여 생성된다. 이 데이터셋은 정답은 항상 후보 개체 중 하나이며, 모두 구절에 언급되어 있다는 점을 강조한다. 이로써 제약된 답변 공간을 가진 클로즈 스타일 작업이 된다. 이러한 설계는 모델이 외부 지식 베이스에 의존하는 대신 개체 간 관계와 설명된 사건에 대해 추론하도록 강제한다.
구성 및 설계
ReCoRD 데이터셋은 2단계 프로세스로 구축했다. 첫째, 다양한 출처에서 뉴스 기사를 수집하고, 표준 개체 인식기를 사용하여 명명된 개체를 식별했다. 그런 다음, 각 기사에 대해 무작위로 하나의 개체를 마스킹하고 같은 기사에 나타나는 후보 개체 목록을 제공하여 쿼리 집합을 만들었다. 후보에는 정답과 여러 디스트랙터가 포함되며, 디스트랙터는 같은 기사의 다른 개체들이다. 이는 모델이 단순히 가장 빈도가 높은 개체를 선택하거나 표면 수준 통계에 의존하는 것을 차단한다.
ReCoRD의 주목할 만한 딘 특징은 외계 상식 추론을 강조한다는 것이다. 쿼리는 정답이 일반적인 문맥으로 추론되지 않도록 설계되었다. 대신 모델은 여러 문장에 걸쳐 정보를 통합하고 내포된 관계를 추론해야 한다. 예를 들어, 구절에서 특정 분야의 상을 수상한 사람을 묘사하는 경우, 모델은 상이 일반적으로 분야와 연관된다는 상식 지식을 알아야 한다.
데이터셋은 훈련 예제 101,249개, 검증 예제 6,353개, 테스트 예제 10,000개로 나뉘었다. 테스트 집합은 외부로 유지되며, 제출 시스템을 통해 모델이 평가된다. 주요 평가 지표는 정확 일치 정확도로, 모델의 예측 개체가 지상 정답과 정확히 일치해야 한다.
평가 및 성능
ReCoRD는 자연어 처리 분야에서 표준 벤치마크가 되었다. 재귀 신경망과 초기 트랜스포머 아키텍처를 포함한 초기 모델은 검증 세트에서 60-70%의 정확도를 달성했다. BERT와 후속 모델과 같은 대규모 사전 훈련된 언어 모델의 도입은 크게 성능을 향상시켰으며, 2020년에는 일부 모델이 90% 이상의 정확도를 초과했다.
하지만, 최첨단 모델도 깊은 상식 추론이 필요한 일부 쿼리 유형, 예를 들어 시간적 추론, 공간적 추론 또는 뉘앙스 있는 사회적 관습을 다루는 작업에서는 여전히 어려움을 겪는다. 이는 ReCoRD를 현재 AI 시스템의 한계를 진단하는 유용한 도구로 만들었다. 이 벤치마크는 또한 모델 크기, 훈련 데이터, 아키텍처 선택이 추론 능력에 미치는 영향을 연구하는데 사용되었다.
다른 벤치마크와의 관계
ReCoRD는 SQuAD, RACE, DROP을 포함하는 더 넓은 독해 벤치마크 계열인 일부이다. 텍스트에서 연속 체인을 추출하는 데 초점을 맞추는 SQuAD와 달리개별, ReCoRD는 개체 집합에서 선택해야 하므로, 이는 다지 다양성이 있는 클로즈 과제다. 영어 시험을 기반으로 하는 RACE와 비교하면, ReCoRD의 뉴스 웹 도메인은 더 다양하고 덜 공식화된 문맥락을 제공한다. 한편, DROP 수 추론이 필요하며, 반면 ReCoRD는 상식 추론을 강조한다.
ReCoRD는 종종 다른 벤치마크와 함께 사용되어 모델의 포괄 평가를 제공한다. 특히 자연어 이해에 Artificial intelligence 및 Machine learning 기술을 통합하는 것을 테스트하는 데 유용하다. 이 벤치마크는 Google DeepMind, OpenAI, Anthropic 등 주요 기관의 연구 그룹에 모델 평가 스위트의 일부로 채택되었다.
영향 및 향후 방향
ReCoRD의 도입은 AI에서 상식 추론에 대한 추가 연구를 촉발했다. 이는 패턴 인식과 진정한 이해 사이의 차이를 강조했으며, 일상적인 상황에 대해 추론할 수 있는 모델을 개발하려는 노력을 장려했다. CommonsenseQA나와 Social IQA와 같은 이후의 벤치마크는 ReCoRD에서 얻은 교훈을 바탕으로 더 명확한 상식 지식을 집중적으로 다루고 있다.
ReCoRD의 한계 중 하나는 후보 개체 모두가 동일 구절에서 나온 것이므로, 모델이 통계적인 단서를 악용할 수 있어 때때로 과제가 더 쉬워진다. 외부 지식을 도입하거나 다단계 추론을 요구하는 변형 등이 연구자들에 의해 제안되었다. 이러한 어려움에도 불구하고, ReCoRD는 널리 인용되고 사용되는 벤치마크이며, 더 견고하고\해석 가능한 AI 시스템 개발에 계속 정보를 제공한다.
2020년대 초반 기준으로, ReCoRD는 여전히 관련 있는 벤치마크로 간주되지만, 새로운 모델은 종종 거의 완벽한 점수를 기록한다. 그것의 유산은 자연어 이해에서 상식 추론의 중요성을 보여주고, 이 분야의 발전을 측정하기 위한 구체적인 과제를 제공한 점에 있다.