Sherlock은 2020년 노스캐롤라이나 대학교 채플힐과 앨런 인공지능 연구소의 연구자들이 소개한 대규모 시각적 상식 추론 데이터셋이자 벤치마크이다. 이 데이터셋은 비주얼 게놈 프로젝트에서 가져온 약 21,000개의 이미지에서 파생된 103,000개 이상의 질문-답변 쌍으로 구성되며, 각 질문은 단순한 객체 인식을 넘어선 상식 지식을 요구하도록 설계되었다. Sherlock은 종종 문자 그대로의 장면 묘사에 초점을 맞추는 시각적 질의응답(VQA) 벤치마크의 공백을 해결하기 위해 만들어졌으며, 인간이 이미지를 해석할 때 사용하는 암묵적이고 일상적인 지식을 다룬다.
이 데이터셋은 상호 보완적인 두 가지 작업, 즉 객관식 질의응답 작업과 근거 생성 작업을 중심으로 구성된다. 객관식 작업에서 모델은 네 가지 보기 중 정답을 선택해야 하며, 정답은 명시되지 않은 속성이나 관계를 추론해야 한다. 예를 들어, 서핑보드를 든 사람이 해변 근처에 있을 가능성이 높다는 것을 예측하는 경우가 해당된다. 근거 생성 작업은 모델이 주어진 답이 왜 올바른지에 대한 자유 형식의 설명을 생성하도록 요구하며, 모델이 예측 뒤에 숨은 상식적 추론을 명확히 표현하도록 장려한다. 이러한 이중 구조는 Sherlock을 인식 능력과 추론 능력을 모두 엄격히 시험하는 도구로 만든다.
구축 및 주석
Sherlock은 두 단계의 크라우드소싱 파이프라인을 통해 구축되었다. 첫째, 주석자들은 비주얼 게놈의 이미지를 보고 단순히 보이는 객체나 속성을 나열하는 것으로는 답할 수 없지만 상식적 추론을 요구하는 질문을 작성하도록 지시받았다. 예를 들어, 헬멧이 보이지만 그 이유(예: 오토바이를 타는 중)가 보이지 않는 상황에서 "왜 이 사람은 헬멧을 쓰고 있나요?"라는 질문을 할 수 있다. 둘째, 각 질문에는 네 가지 답변 보기가 짝지어졌으며, 하나는 정답이고 나머지는 그럴듯한 오답이며, 주석자들은 정답을 설명하는 짧은 근거도 작성했다. 최종 데이터셋은 103,302개의 질문을 포함하며, 훈련/테스트 분할은 약 80/20이고, 각 이미지에는 평균 다섯 개의 질문이 연결된다.
품질을 보장하기 위해 주석 과정에는 여러 차례의 검토와 필터링이 포함되었다. 모호하거나 특정 역사적 사건과 같은 외부 사실 지식을 요구하거나 여러 그럴듯한 답이 있는 질문은 폐기되었다. 결과 데이터셋은 우산을 든 사람이 비를 기대할 가능성이 높다는 것이나 주방 칼이 음식을 자르는 데 사용된다는 것과 같은 일상적이고 보편적인 상식을 강조한다.
평가 및 지표
모델은 객관식 작업의 정확도와 생성된 근거의 품질이라는 두 가지 주요 지표로 평가된다. 객관식 작업의 경우 정확도는 단순히 올바르게 답한 질문의 비율이다. 근거 생성의 경우 원래 논문은 BLEU 점수를 사용했지만, 이후 연구에서는 ROUGE나 인간 평가와 같은 더 견고한 지표를 자주 사용한다. 이 벤치마크는 당시 모델에게 도전적이도록 설계되었으며, 원래 논문에서 Residual Network (ResNet)와 주의 메커니즘에 기반한 강력한 시각적 질의응답 모델은 약 55%의 정확도를 달성한 반면, 샘플링된 하위 집합에서 인간의 성능은 약 90%였다. 이러한 큰 격차는 시각적 상식 추론의 어려움을 강조하고 추가 연구를 촉진했다.
중요성 및 영향
Sherlock은 Computer vision과 Natural language processing 분야, 특히 시각과 언어의 교차점에 대한 연구에서 표준 벤치마크가 되었다. 이는 Transformer (architecture) 아키텍처와 Large language model에 기반한 모델을 포함한 다양한 모델을 평가하는 데 사용되었다. 단순 인식보다 추론을 강조하는 이 데이터셋의 설계는 유사하게 외부 지식을 요구하는 VCR(시각적 상식 추론) 및 OK-VQA와 같은 후속 벤치마크에 영향을 미쳤다. Sherlock은 또한 Artificial intelligence 시스템의 해석 가능성과 신뢰성에 대한 관심이 증가하는 분야인 시각-언어 작업에서 설명 생성 방법의 개발에 기여했다.
이 데이터셋은 Deep learning 모델의 한계를 연구하는 데 특히 유용했다. 예를 들어, 분석 결과 모델은 종종 진정한 추론보다는 답변 선택지의 통계적 규칙성에 의존하며, 공간적 또는 시간적 추론을 요구하는 질문에 어려움을 겪는 것으로 나타났다. 이는 Curriculum Learning과 Data Augmentation을 포함한 더 견고한 훈련 기술과 외부 지식 베이스의 통합에 대한 연구를 촉발했다.
한계 및 비판
영향력에도 불구하고 Sherlock은 여러 측면에서 비판을 받았다. 근거 평가에 BLEU를 사용하는 것은 인간의 판단과 상관관계가 낮은 것으로 알려져 있으며, 타당하지만 다르게 표현된 근거에 대해 오해를 불러일으킬 만큼 낮은 점수를 초래할 수 있다. 또한 비주얼 게놈 이미지에 의존하는 데이터셋은 서양의 도시적 맥락에서 흔한 객체와 장면이 과대 대표되는 편향을 도입하여, 이를 기반으로 훈련된 모델의 일반화 가능성을 제한할 수 있다. 일부 연구자들은 객관식 형식이 답변 옵션의 미묘한 언어적 단서를 활용하는 모델에 의해 악용될 수 있다고 지적했으며, 이는 많은 VQA 벤치마크에서 공통적인 문제이다. 이러한 한계는 더 다양하고 적대적으로 구성된 데이터셋에 대한 요구를 촉발했다.
유산 및 향후 방향
Sherlock은 시각-언어 커뮤니티에서 널리 인용되는 자원으로 남아 있으며, 시각적 및 텍스트적 이해를 결합하려는 모델의 사전 훈련 또는 평가 대상으로 자주 사용된다. 그 설계는 물리적 추론이나 사회적 상호작용과 같은 특정 유형의 상식을 다루는 후속 데이터셋에 영감을 주었다. 2020년대 중반 현재, Transformer (architecture) 아키텍처에 기반하고 대규모 다중 모달 코퍼스로 훈련된 최신 모델은 Sherlock에서 상당히 높은 정확도를 달성했으며, 일부는 80%를 초과하지만 인간 수준의 성능은 여전히 달성하기 어렵다. 이 데이터셋은 Generative AI 시스템의 추론 능력을 탐구하고 그러한 추론을 더 명시적이고 검증 가능하게 만드는 방법을 개발하는 데 계속해서 귀중한 도구로 사용되고 있다.
같이 보기
- Visual Question Answering
- commonsense-reasoning
- dataset
- Visual Genome
참고 문헌
원래 Sherlock 논문은 2020년 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 발표되었으며 CVPR 회의록에서 확인할 수 있다. 데이터셋은 공개적으로 호스팅되며 프로젝트 공식 웹사이트를 통해 접근할 수 있다.