Social IQA(Social Interaction Question Answering)는 인공지능 시스템의 사회적 상식 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 2019년 워싱턴 대학교와 앨런 인공지능 연구소의 연구자들이 도입했으며, 이 데이터셋은 1,500개의 일상적인 사회적 상황에서 파생된 약 38,000개의 객관식 질문으로 구성된다. 각 질문은 모델이 인간 상호작용을 지배하는 의도, 반응, 사회적 규범을 추론하는 능력을 시험하는데, 예를 들어 누군가가 동료를 칭찬하는 이유나 도움을 제공한 후 사람이 기대하는 바를 이해하는 것을 포함한다.
이 데이터셋은 AI 평가의 공백을 해소하기 위해 만들어졌다. 많은 벤치마크가 사실적 지식이나 언어적 유창성에 초점을 맞춘 반면, 인간이 사회적 맥락을 탐색하는 데 사용하는 미묘하고 암묵적인 지식을 시험하는 경우는 드물었다. Social IQA는 각 시나리오를 전제 조건, 동기, 또는 등장인물의 감정적 반응에 대한 질문으로 구성하고 세 가지 답변 선택지를 제공한다. 예를 들어, "Jordan이 Alex에게 집까지 태워주겠다고 제안했다"는 진술이 주어졌을 때, 질문은 "Jordan이 왜 이렇게 했나?"라고 묻고 "도움이 되려고", "과시하려고", "Alex를 피하려고" 같은 선택지를 제시할 수 있다. 정답은 이타주의와 예의에 대한 문화적으로 공유된 기대에 의존한다.
구성 및 주석
데이터셋은 크라우드소싱된 시나리오 생성과 구조화된 주석의 조합으로 구축되었다. Amazon Mechanical Turk의 작업자들은 일상적인 사회적 상호작용에 대한 짧은 설명을 작성했고, 이후 명확성과 다양성을 기준으로 필터링되었다. 별도의 주석자 집단이 각 시나리오에 대한 질문과 답변을 생성했으며, 의도(행동이 발생한 이유), 반응(등장인물이 어떻게 느꼈는지), 전제 조건(사건 이전에 반드시 사실이었어야 하는 것)의 세 가지 차원을 다루는 템플릿을 따랐다. 이 설계는 모델이 단순한 패턴 매칭이 아닌 인과적 및 감정적 추론을 시험받도록 보장한다.
품질을 유지하기 위해 제작자들은 엄격한 검증 단계를 구현했다. 각 질문은 여러 주석자가 검토했으며, 모호하거나 지나치게 주관적인 항목은 폐기되었다. 최종 데이터셋은 훈련, 검증, 테스트 세트로 분할되었고, 테스트 세트는 과적합을 방지하기 위해 비공개로 유지되었다. 주석 과정은 수개월이 걸렸고 2,000명 이상의 고유 작업자가 참여했으며, 이는 사회적 미묘함을 포착하는 데 필요한 노력의 규모를 반영한다.
벤치마크 중요성
Social IQA는 자연어 처리 분야에서 빠르게 표준 평가 도구가 되었다. 출시 당시 BERT와 같은 최첨단 모델은 약 55%의 정확도를 달성했으며, 이는 무작위 기준선인 33%보다 약간 높은 수준이었다. 이 뚜렷한 격차는 종종 인간 행동에 대한 진정한 이해보다 통계적 상관관계에 의존하는 기계에게 사회적 추론의 어려움을 강조했다. 이 벤치마크는 상식 지식 베이스와 추론 아키텍처에 대한 연구를 촉진했으며, RoBERTa와 이후 대규모 언어 모델과 같은 모델의 개선으로 이어졌다.
2023년까지 GPT-4와 Claude 같은 대형 모델은 90%를 초과하는 정확도 점수로 이 작업에서 인간 수준의 성능에 접근하기 시작했다. 그러나 연구자들은 Social IQA에서 높은 점수가 반드시 강력한 사회적 지능을 의미하지는 않는다고 경고하는데, 모델이 언어적 단서나 데이터셋 편향을 악용할 수 있기 때문이다. 이 벤치마크는 진행 상황을 추적하는 데 유용하지만, 일반화를 평가하기 위해 적대적 또는 분포 외 테스트와 함께 사용되는 경우가 많다.
한계 및 비판
Social IQA에 대해 여러 비판이 제기되었다. 첫째, 데이터셋은 서양, 영어권 문화 규범에 크게 치우쳐 있어 글로벌 맥락에 대한 적용 가능성이 제한적이다. 한 문화에서 예의 바른 행동이 다른 문화에서는 무례할 수 있지만, 데이터셋은 단일하고 동질적인 사회적 틀을 가정한다. 둘째, 객관식 형식은 사회적 추론을 이산적인 선택지로 단순화하는 반면, 실제 세계의 상호작용은 연속적이고 맥락 의존적인 판단을 포함한다. 셋째, 일부 질문은 인간에게도 모호하여 주석의 노이즈와 잠재적 오표시를 초래한다.
연구자들은 또한 모델이 깊은 추론에 참여하기보다는 표면적 패턴을 암기하여 높은 점수를 얻을 수 있다고 지적했다. 예를 들어, 특정 답변 선택지는 훈련 데이터에 더 자주 나타나며, 모델은 이러한 통계적 규칙성을 악용할 수 있다. 이를 완화하기 위해 Social IQA 2.0과 같은 후속 벤치마크가 더 어려운 질문과 반사실적 시나리오를 도입했지만, 원래 데이터셋은 여전히 널리 인용된다.
응용 및 영향
Social IQA의 통찰력은 대화 에이전트, 가상 비서, 로봇공학 분야에서 사회적 인식을 갖춘 AI 시스템의 개발에 영향을 미쳤다. Google DeepMind와 OpenAI 같은 기업은 공감 또는 사회적 재치가 필요한 작업, 예를 들어 고객 서비스 챗봇이나 정신 건강 지원 도구를 위해 이 데이터셋을 사용하여 모델을 미세 조정했다. 이 벤치마크는 또한 COMET과 같은 상식 추론 모델의 개발에 정보를 제공했다.
학술 연구에서 Social IQA는 컴퓨테이셔널 사회과학부터 AI 윤리까지 다양한 분야의 1,000개 이상의 논문에서 인용되었다. 이는 인간 상호작용의 불문율을 학습하는 기계의 가능성을 연구하는 기초 자료가 되었으며, 아이러니, 위선, 문화적 차이와 같은 더 복잡한 사회적 현상을 포착하려는 새로운 데이터셋의 참조점으로 계속 사용되고 있다.
향후 방향
AI 시스템이 일상생활에 더 통합됨에 따라 사회적 맥락을 추론하는 능력은 점점 더 중요해지고 있다. Social IQA는 정적 텍스트를 넘어 비디오, 오디오, 상호작용 환경을 통합하는 더 역동적인 벤치마크의 길을 열었다. 연구자들은 또한 다양한 문화적 배경의 주석자를 참여시키고 여러 유효한 답변을 수용하는 지표를 개발하여 더 포용적인 데이터셋을 만드는 방법을 탐구하고 있다. 궁극적인 목표는 사실을 존중할 뿐만 아니라 사회적 경계를 존중하고 효과적으로 소통하는 AI를 만드는 것이며, 이는 Social IQA가 해당 분야의 최전선에 가져온 도전 과제이다.