DROP(Discrete Reasoning Over Paragraphs)는 독해 이해 및 질문 응답 시스템을 평가하기 위한 벤치마크 데이터셋이다. 2019년 카네기 멜론 대학교와 워싱턴 대학교의 연구자들에 의해 소개되었다. 이 데이터셋은 위키백과 문서에서 파생된 96,000개 이상의 질문으로 구성되며, 단순히 텍스트 구간을 추출하는 것이 아니라 덧셈, 계산, 정렬, 비교와 같은 이산적 추론 연산을 요구하도록 설계되었다. 이는 DROP을 SQuAD와 같은 초기 독해 이해 벤치마크와 구별되게 하는데, SQuAD는 주로 지문에서 답을 직접 찾는 능력을 테스트했다.
DROP의 생성은 많은 기존 질문 응답 모델이 답 추출에는 뛰어나지만 텍스트의 여러 부분에서 정보를 결합하거나 간단한 산술을 수행해야 하는 질문에는 어려움을 겪는다는 관찰에서 비롯되었다. 이 벤치마크는 이러한 한계를 드러내고 더 강력한 추론 능력을 갖춘 분야로 나아가도록 설계되었다. DROP의 각 질문은 위키백과 문서의 단락과 짝을 이루며, 답은 구간, 숫자, 날짜 또는 항목 목록이 될 수 있다. 질문은 덧셈, 뺄셈, 계산, 정렬, 비교와 같은 연산을 요구하도록 제작되었으며, 종종 시간적 또는 수치적 추론을 포함한다.
데이터셋 구조 및 평가
DROP 데이터셋은 훈련, 개발, 테스트 세트로 나뉜다. 훈련 세트에는 약 77,000개의 질문, 개발 세트에는 약 9,500개, 테스트 세트에는 약 9,500개의 질문이 포함된다. 각 인스턴스는 지문, 질문, 하나 이상의 참조 답을 포함한다. 평가는 정확한 일치(EM)와 F1 점수를 사용하여 수행되며, 이는 예측 답과 참조 답 사이의 중복을 측정한다. 답이 숫자나 목록일 수 있으므로 평가 스크립트는 형식을 정규화하고 쉼표 및 날짜 형식과 같은 변형을 처리한다.
초기 성능 및 과제
DROP이 공개되었을 때 당시 최고 성능 모델은 약 30-40%의 F1 점수를 달성했으며, 이는 약 96% F1로 추정되는 인간 성능에 훨씬 못 미쳤다. 이 벤치마크는 기존 신경 모델의 추론 능력, 특히 수치 연산 및 다단계 추론 처리에 있어 상당한 격차를 강조했다. DROP을 해결하려는 초기 시도는 종종 신경 독해 이해와 산술 계산기 또는 프로그램 생성기와 같은 기호 추론 모듈을 결합한 하이브리드 시스템을 포함했다.
이후의 진전 및 기법
시간이 지남에 따라 모델 아키텍처와 훈련 방법의 개선으로 DROP에서 상당한 성과가 이루어졌다. Transformer 기반 모델, 특히 대규모 말뭉치에서 사전 훈련된 모델의 도입은 성능 향상에 도움이 되었다. BERT 및 그 후속 모델과 같은 모델은 DROP에 미세 조정되었을 때 더 높은 점수를 달성했지만 여전히 복잡한 추론에는 어려움을 겪었다. 이후 프로그램 합성 또는 특수 손실 함수와 같은 외부 도구를 통합한 접근 방식은 모델이 명시적 산술 연산을 수행할 수 있게 했다. 2021년까지 일부 시스템은 F1 점수 85% 이상을 달성하여 인간 수준의 성능에 근접했으며, 이는 주로 대규모 사전 훈련 모델과 기호 추론 구성 요소의 통합 덕분이었다.
AI 연구에 미친 영향
DROP 벤치마크는 자연어 처리 및 인공지능 분야에 지속적인 영향을 미쳤다. 이는 신경망과 명시적 추론 메커니즘을 결합한 하이브리드 신경-기호 시스템에 대한 연구를 촉진했다. 또한 다중 홉 추론이나 수학적 문제 해결을 요구하는 것과 같은 추론 능력을 테스트하는 더 도전적인 벤치마크의 개발에 영향을 주었다. DROP은 독해 이해 및 추론을 위한 표준 평가 도구로 남아 있으며, 현대 대규모 언어 모델의 훈련 및 평가에 자주 포함된다.
관련 벤치마크 및 향후 방향
DROP은 시퀀스-투-시퀀스 변환, 멀티 헤드 어텐션 기반 모델, 커리큘럼 학습 접근 방식과 같은 작업을 포함하는 더 넓은 추론 벤치마크 계열의 일부이다. DROP이 텍스트에 대한 이산적 추론에 초점을 맞추는 반면, 새로운 벤치마크는 시각적 추론, 상식, 다중 모드 이해를 포함하도록 확장되었다. 2020년대 초반 현재, 많은 최첨단 대규모 언어 모델이 일반 추론 평가의 일부로 DROP에서 평가되며, 이 벤치마크는 기계 이해의 진전을 측정하는 기준점으로 계속 사용되고 있다.