DuoRC는 2018년 인도 공과대학교(IIT) 마드라스와 카네기 멜론 대학교의 연구자들이 도입한 대규모 독해 데이터셋이다. 이 데이터셋은 위키백과와 IMDb에서 출처를 얻은 7,680개의 영화 줄거리 요약에서 생성된 186,089개의 질문-답변 쌍을 포함한다. 단일 문장이나 짧은 문단 맥락에 의존하는 많은 초기 데이터셋과 달리, DuoRC는 길고 여러 문단으로 구성된 서사에 초점을 맞추며, 모델이 여러 문장과 사건에 걸쳐 정보를 종합하도록 요구한다.
이 데이터셋은 두 단계 과정을 통해 구축되었다. 먼저, 아마존 Mechanical Turk 작업자들이 위키백과의 줄거리 요약(일반적으로 중립적이고 스포일러가 없는)을 바탕으로 질문을 작성했다. 그런 다음, 별도의 작업자 집단이 IMDb의 해당 줄거리 요약(더 상세하고 종종 스포일러를 포함하는)을 사용하여 그 질문에 답변했다. 질문 생성 맥락과 답변 찾기 맥락 사이의 이러한 의도적인 불일치는 모델이 단순한 어휘 일치보다는 더 깊은 이해에 의존하도록 강제하며, 답변이 질문 생성에 사용된 출처에 그대로 나타나지 않을 수 있기 때문이다.
구축 및 주석
DuoRC의 각 영화에는 두 개의 서로 다른 줄거리 요약이 있다. 하나는 위키백과(평균 길이 약 1,000단어)에서, 다른 하나는 IMDb(평균 길이 약 2,000단어)에서 가져온 것이다. 주석 과정에는 단일 문장으로 답할 수 있는 질문을 걸러내고 답변이 IMDb 요약에 존재하는 텍스트 구간인지 확인하는 등 여러 품질 관리 단계가 포함되었다. 최종 데이터셋은 학습 분할에 96,311개, 검증에 12,792개, 테스트에 76,986개의 질문을 포함하며, 총 186,089개의 질문-답변 쌍으로 구성된다.
DuoRC의 질문은 주로 "무엇", "누가", "왜", "어떻게" 유형이며, 상당 부분이 여러 문장 추론을 요구한다. 예를 들어, 질문이 등장인물이 특정 방식으로 행동한 이유를 물을 수 있으며, 답변에는 서로 다른 세 네 개의 문단에서 정보가 필요할 수 있다. 이는 대부분의 답변이 단일 문장이나 인접 문장 내에 위치하는 SQuAD와 같은 데이터셋과 DuoRC를 구별 짓는 특징이다.
평가 및 기준 모델
DuoRC는 표준 독해 지표인 Exact Match(EM)와 F1 점수를 사용한다. 처음 출시되었을 때 저자들은 전통적인 특징 기반 시스템과 초기 신경망 모델을 포함한 여러 기준 모델을 평가했다. 당시 최고 성능의 기준 모델은 약 14%의 EM 점수와 약 24%의 F1 점수를 달성했으며, 이는 78% EM과 86% F1으로 추정된 인간 성능보다 훨씬 낮았다. 이 큰 격차는 긴 맥락 추론의 어려움을 강조하고 해당 분야의 추가 연구를 촉진했다.
이후 Transformer (architecture) 기반 모델(예: 대규모 언어 모델)을 사용한 후속 작업은 성능을 크게 향상시켰다. 그러나 현대 시스템조차도 DuoRC에서 가장 복잡한 질문, 특히 문단 간 추론과 시간적 추론이 필요한 질문에 어려움을 겪는다. 이 데이터셋은 자연어 처리 연구에서 긴 문서 이해를 평가하는 기준으로 남아 있다.
다른 데이터셋과의 관계
DuoRC는 기존 독해 데이터셋을 보완하도록 설계되었다. 짧은 위키백과 문서를 사용하는 SQuAD나 시험을 사용하는 RACE와 달리, DuoRC는 더 긴 맥락과 독특한 질문-답변 불일치를 제공한다. 이러한 설계 선택은 모델이 단순한 패턴 일치를 넘어 일반화할 수 있는지 연구하는 데 특히 유용하다. 이 데이터셋은 다중 홉 추론, 기계 독해, 질문 응답 시스템에 관한 연구에 사용되었다.
제작자들은 또한 DuoRC-Paraphrase라는 하위 집합을 공개했는데, 이는 원래 질문의 의역 버전을 포함하여 연구자들이 언어적 변형에 대한 견고성을 테스트할 수 있게 한다. 이 하위 집합은 질문 표현의 표면적 변화에 대한 모델의 민감도를 평가하는 데 사용되었다.
영향 및 한계
DuoRC는 인공지능 커뮤니티에서 긴 맥락 이해를 위한 도전적인 기준으로 널리 인용되었다. 이는 책과 영화 줄거리를 사용하는 NarrativeQA와 같은 후속 데이터셋의 설계에 영향을 주었다. 그러나 DuoRC에는 한계가 있다. 영화 줄거리 요약은 저작권이 있는 자료이므로 재배포가 제한되며, 데이터셋이 주로 영어로 되어 있어 교차 언어 연구에 제약이 있다.
또 다른 한계는 질문이 크라우드 작업자에 의해 생성되어 편향이나 불일치가 도입될 수 있다는 점이다. 일부 질문은 여러 유효한 답변을 가질 수 있으며, 구간 기반 답변 형식은 모든 유형의 추론을 포착하지 못한다. 이러한 문제에도 불구하고 DuoRC는 길고 서사적인 텍스트를 처리해야 하는 모델을 평가하고 개선하는 데 귀중한 자원으로 남아 있다.
향후 방향
대규모 언어 모델과 생성형 AI의 부상과 함께, DuoRC는 이러한 모델이 장문 추론을 처리할 수 있는지 테스트하는 데 사용되었다. 최근 평가에 따르면 GPT-4와 Claude와 같은 모델은 훨씬 더 높은 점수를 달성하지만, 가장 어려운 질문에서는 여전히 인간 성능에 미치지 못한다. 연구자들은 환각과 긴 구절에 걸친 등장인물 관계 추적 실패와 같은 현재 시스템의 약점을 탐구하기 위해 DuoRC를 계속 사용하고 있다.
이 데이터셋은 또한 긴 시퀀스를 위해 설계된 새로운 주의 메커니즘과 메모리 증강 네트워크를 개발하기 위한 테스트베드 역할을 한다. 딥러닝 모델이 긴 맥락을 처리하는 데 더 효율적이 됨에 따라, DuoRC는 서사에 대한 기계 이해의 진전을 측정하는 표준 기준으로 계속 남을 가능성이 높다.