COPA(Choice of Plausible Alternatives)는 인공지능 시스템의 인과 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 2011년 워싱턴 대학의 연구자들이 도입한 이 데이터셋은 전제 문장(premise sentence)과 두 개의 대안 문장을 제시하며, 전제의 원인 또는 결과로 더 그럴듯하게 관련된 대안을 선택하는 것이 과제이다. 이 벤치마크는 인간 언어 이해의 기본적인 측면이지만 머신러닝 모델에는 여전히 어려운 상식적 인과 추론에 초점을 맞춘다.
데이터셋은 원인 시나리오와 결과 시나리오로 균등하게 나뉜 1,000개의 질문으로 구성된다. 각 질문은 전제(예: "그 남자는 다리를 부러뜨렸다")와 두 가지 선택지(예: "그는 사다리에서 떨어졌다" 대 "그는 병원에 갔다")를 포함한다. 정답은 인간 주석자에 의해 결정되며, 벤치마크는 정확도를 주요 지표로 측정한다. COPA는 원래 단순한 어휘적 중복을 넘어서는 시스템을 테스트하기 위해 만들어졌으며, 실제 세계의 원인-결과 관계에 대한 더 깊은 이해를 요구한다.
설계 및 구조
COPA는 Andrew S. Gordon과 그의 동료들이 처음 제안한 Choice of Plausible Alternatives 과제의 프레임워크를 기반으로 구축되었다. 전제 문장은 다양한 일상 상황에서 가져왔으며, 대안은 의미적으로 그럴듯하지만 인과적으로 올바른 것은 하나뿐이도록 설계되었다. 벤치마크는 명시적 인과 표지(예: "때문에" 또는 "그래서")를 의도적으로 피하여 모델이 문맥만으로 관계를 추론하도록 강제한다.
각 인스턴스는 "원인"(어떤 대안이 전제의 가능한 원인인지) 또는 "결과"(어떤 대안이 전제의 가능한 결과인지)라는 질문 유형으로 레이블이 지정된다. 데이터셋은 훈련 세트(500개 예)와 테스트 세트(500개 예)로 나뉘지만, 훈련 세트가 작고 종종 검증에 사용되므로 미세 조정보다는 제로샷 또는 퓨샷 평가에 일반적으로 사용된다.
AI 평가에서의 역할
COPA는 대규모 언어 모델 및 기타 신경망 아키텍처 평가의 표준 구성 요소가 되었다. SuperGLUE와 같은 여러 광범위한 벤치마크에 포함되어 인과 이해를 위한 진단 도구로 사용된다. 이 벤치마크는 인간 성능(거의 완벽함)과 모델 성능 사이에 상당한 격차를 부각시켰으며, 특히 초기 시스템에서 두드러졌다. 트랜스포머 아키텍처를 기반으로 하는 현대 모델은 COPA에서 높은 정확도를 달성했지만, 상식 추론을 위한 유용한 프로브로 남아 있다.
연구자들은 COPA를 사용하여 훈련 데이터, 모델 규모 및 미세 조정 전략의 영향을 연구했다. 예를 들어, OpenAI의 GPT-3 및 이후 모델은 퓨샷 설정에서 종종 90% 이상의 정확도를 기록하며 COPA에서 강력한 결과를 보고했다. 그러나 이 벤치마크는 진정한 인과 이해보다 언어의 통계적 규칙성에 의존하는 등의 잠재적 편향에 대해 비판을 받기도 했다.
한계 및 비판
COPA의 한계 중 하나는 상대적으로 작은 크기로, 평가 결과의 높은 분산을 초래할 수 있다는 점이다. 또한 이진 선택 형식은 실제 세계 시나리오가 종종 여러 가지 그럴듯한 원인이나 결과를 포함하므로 인과 추론의 전체 복잡성을 포착하지 못할 수 있다. 일부 연구자들은 COPA의 단순성으로 인해 모델이 진정한 추론 없이 단어 연관성과 같은 표면적 단서를 활용할 수 있다고 주장한다.
이러한 우려를 해결하기 위해 COPA2와 더 최근의 CausalBench와 같은 후속 벤치마크가 개발되었으며, 여기에는 더 다양하고 도전적인 시나리오가 포함된다. 이러한 비판에도 불구하고 COPA는 인공지능 커뮤니티에서 특히 상식 추론의 진전을 평가하는 데 널리 인용되고 사용되는 벤치마크로 남아 있다.
응용 및 영향
COPA는 생성형 AI 시스템을 포함하여 인과 관계를 추론하는 모델의 개발에 영향을 주었다. 또한 Google DeepMind의 모델과 Anthropic의 시스템과 같은 다양한 아키텍처에서 모델 성능을 비교하기 위해 학술 연구 및 산업 평가에서 채택되었다. 벤치마크의 단순성은 인과 추론 평가를 위한 접근 가능한 출발점을 제공하며, 그 결과는 다른 추론 과제와 함께 연구 논문에서 자주 보고된다.
실용적 응용에서 COPA가 테스트하는 기술은 질문 응답, 대화 시스템 및 의사 결정 지원과 같은 작업에 관련이 있다. 예를 들어, 원인과 결과를 올바르게 추론할 수 있는 시스템은 동적 환경에서 사용자 의도를 이해하거나 결과를 예측하는 데 더 적합하다. 2020년대 초반 현재 COPA는 상식 AI의 진전을 측정하기 위한 기준점으로 계속 사용되고 있다.
같이 보기
참고 문헌
- Gordon, A. S., Kozareva, Z., & Roemmele, M. (2011). Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. In AAAI Spring Symposium.
- Roemmele, M., Bejan, C. A., & Gordon, A. S. (2011). Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. In Proceedings of the AAAI Spring Symposium.