SIQA(Social IQa의 약자)는 인공지능 시스템의 사회적 상식 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 이 데이터셋은 약 38,000개의 객관식 질문으로 구성되어 있으며, 각 질문은 사회적 상황에 대한 짧은 서술과 그에 따른 예상 결과 또는 적절한 행동에 대한 질문, 그리고 세 가지 보기로 이루어져 있다. 이 벤치마크는 순수한 사실적 또는 논리적 추론과는 구별되는 사회적 규범, 의도, 대인 관계 역학에 대한 AI의 이해를 평가하는 데 있어 기존의 공백을 해소하기 위해 도입되었다.
이 데이터셋은 워싱턴 대학교와 앨런 인공지능 연구소의 연구자들이 2019년에 발표한 논문을 통해 만들어졌다. 질문들은 Crowdsourced Social Commonsense Reasoning(CrowS-Pairs) 프레임워크에서 파생되었지만, SIQA는 특히 사회적 함의를 추론해야 하는 객관식 질문에 초점을 맞춘다. 각 질문은 모델이 공손함, 공감, 또는 주어진 맥락에서 행동의 예상 결과와 같은 암묵적인 사회적 단서를 이해할 수 있는지 테스트하도록 설계되었다.
구조 및 내용
SIQA는 훈련용 33,404개, 검증용 1,954개, 테스트용 2,985개의 질문을 포함하여 총 38,343개의 질문으로 구성된다. 각 질문에는 맥락 문장(예: "Jordan wanted to tell Tracy a secret"), 질문(예: "What will Jordan do?"), 그리고 세 가지 보기(예: "Jordan told Tracy the secret", "Jordan asked Tracy to keep the secret", "Jordan told everyone the secret")가 포함된다. 정답은 텍스트의 명시적 사실이 아닌 사회적 상식에 의해 결정된다. 이 데이터셋은 대화, 가족 상호 작용, 직장 상황, 우정 등 일상적인 시나리오의 광범위한 범위를 다룬다.
목적 및 중요성
SIQA는 사실적 또는 어휘적 지식에 초점을 맞춘 표준 자연어 이해 벤치마크를 넘어서기 위해 개발되었다. 사회적 상식 추론은 인간 지능의 핵심 구성 요소로, 사람들이 사회적 상호 작용을 원활하게 탐색할 수 있게 한다. 대규모 언어 모델 및 트랜스포머와 같은 AI 시스템의 경우, SIQA에서 좋은 성능을 내는 것은 암묵적인 사회적 규범을 파악하고 인간 행동을 예측하는 능력을 나타낸다. 이 벤치마크는 인공지능 연구 분야에서 표준 평가 도구가 되었으며, Winograd Schema Challenge 및 Physical IQA와 같은 다른 상식 추론 벤치마크와 함께 자주 사용된다.
평가 및 성능
SIQA가 출시되었을 때, 최고 성능 모델은 약 60-70%의 정확도를 달성했으며, 이는 무작위 확률(33%)보다는 훨씬 높지만 약 86%로 추정되는 인간 성능보다는 낮았다. 이후 머신 러닝 및 딥 러닝 기술의 개선, 특히 더 큰 신경망과 사전 훈련된 모델의 등장으로 더 높은 점수가 달성되었다. 예를 들어, BERT 및 그 변형 모델을 기반으로 한 모델은 중반 80%대의 정확도에 도달하여 인간 수준의 성능에 근접했다. 그러나 최첨단 모델조차도 풍자 이해나 미묘한 문화적 차이와 같은 특정 유형의 사회적 추론에는 여전히 어려움을 겪고 있다.
한계 및 비판
널리 사용됨에도 불구하고 SIQA는 비판에 직면해 왔다. 일부 연구자들은 질문이 크라우드소싱되었으며 주로 서양의 영어 사용 맥락에서 온 주석자들의 문화적 배경을 반영할 수 있기 때문에 데이터셋에 편향이 포함될 수 있다고 주장한다. 이는 모델이 보편적인 규범보다는 문화적으로 특정한 사회적 규범을 학습하게 할 수 있다. 또한 일부 질문은 모호하거나 여러 가지 그럴듯한 답변이 있는 것으로 지적되어, 세밀한 평가에는 벤치마크의 신뢰성이 떨어진다. SIQA에서 높은 성능이 실제 사회적 이해로 이어지지 않을 수 있다는 우려도 있는데, 그 이유는 질문이 단순화되어 실제 사회적 상호 작용의 복잡성을 결여하고 있기 때문이다.
관련 벤치마크 및 향후 방향
SIQA는 Winograd Schema 및 CommonsenseQA를 포함한 더 넓은 상식 추론 벤치마크 계열의 일부이다. 이러한 벤치마크는 물리적 상식부터 사회적 상식까지 상식 지식의 다양한 측면을 테스트하는 것을 집합적으로 목표로 한다. 향후 연구 방향에는 더 다양하고 문화적으로 포용적인 데이터셋 개발, 다중 모드 사회적 단서(예: 표정, 말투) 통합, 그리고 실시간으로 사회적 역학을 추론해야 하는 상호 작용 환경에서 모델을 평가하는 것이 포함된다. AI 시스템이 일상 생활에 더욱 통합됨에 따라, SIQA와 같은 벤치마크는 시스템이 사회적으로 적절한 방식으로 인간과 상호 작용할 수 있도록 보장하는 데 여전히 중요하다.
같이 보기
- 상식 추론
- 자연어 처리
- AI 시스템 평가