Winoground는 시각-언어 모델의 구성적 이해를 테스트하기 위해 설계된 벤치마크 데이터셋이자 평가 스위트입니다. 2022년 토론토 대학의 연구자들에 의해 소개되었으며, 모델이 통계적 지름길이나 표면적 상관관계에 의존하지 않고 시각적 콘텐츠와 언어적 구조 사이의 관계를 진정으로 이해하는지 평가하는 표준 참조 지점이 되었습니다. 벤치마크의 이름은 "Winograd"(자연어 처리를 위한 Winograd Schema Challenge를 참조)와 "ground"(언어를 이미지에 접지시키는 것)의 합성어입니다.
Winoground의 핵심 작업은 신중하게 구성된 400개의 예제로 구성됩니다. 각 예제는 두 개의 이미지와 두 개의 캡션으로 이루어져 있습니다. 캡션은 구성적으로 도전적이도록 설계되었습니다. 즉, 동일한 단어 집합을 포함하지만 순서가 달라 의미가 바뀝니다. 예를 들어, 한 캡션은 "the dog chases the cat"이고 다른 캡션은 "the cat chases the dog"일 수 있습니다. 두 개의 해당 이미지는 각 시나리오를 묘사합니다. 모델은 두 이미지와 두 캡션을 모두 제시받고 각 캡션을 해당 이미지에 올바르게 매칭해야 합니다. 성공하려면 모델이 캡션의 구문 구조를 파싱하고 이를 이미지의 시각적 관계(예: 행위자-행동-대상 역할, 공간 전치사(예: "on" vs. "in"), 또는 속성-객체 쌍)와 정렬해야 합니다.
이 벤치마크는 많은 시각-언어 모델의 알려진 약점을 해결하기 위해 만들어졌습니다. 이러한 모델은 개별 객체를 인식하거나 언어 사전 지식을 사용하여 해결할 수 있는 작업에서는 종종 잘 수행하지만, 단어 배열이 의미를 어떻게 바꾸는지 이해해야 하는 작업에서는 실패합니다. 예를 들어, 모델은 이미지에 개와 고양이가 포함되어 있다는 것을 올바르게 식별할 수 있지만, 어떤 동물이 행동을 수행하는지 결정하지 못할 수 있습니다. Winoground는 이 능력에 대한 통제된 테스트를 제공하며, 최첨단 모델의 성능에서도 상당한 격차를 드러냈습니다.
설계 및 평가
각 Winoground 예제는 "캡션 점수", "이미지 점수", "그룹 점수"라는 세 가지 별도 지표로 평가됩니다. 캡션 점수는 모델이 두 캡션을 각각의 이미지에 올바르게 매칭하는 예제의 비율을 측정합니다. 이미지 점수는 모델이 두 이미지를 각각의 캡션에 올바르게 매칭하는 비율을 측정합니다(대칭적이지만 모델 비대칭성으로 인해 다를 수 있음). 그룹 점수는 가장 엄격합니다. 단일 시도에서 모델이 두 캡션-이미지 매칭을 모두 올바르게 수행해야 하며, 즉 모델이 올바른 쌍을 식별할 뿐만 아니라 두 옵션 사이의 혼동도 피해야 합니다.
데이터셋은 인간 주석자가 이미지 쌍과 캡션을 생성하여 구성했습니다. 캡션은 특정 구성 요소에서만 차이가 나는 최소 쌍으로 설계되었습니다. 이미지는 각 캡션과 정확히 일치하도록 소싱되거나 생성되었습니다. 제작자는 또한 단순한 객체 감지만으로는 해결할 수 없도록 예제를 필터링했으며, 인간 주석자가 거의 완벽한 정확도로 작업을 해결할 수 있음을 확인하여 인간 기준선을 설정했습니다.
결과 및 발견
Winoground에 대한 주요 시각-언어 모델의 초기 평가는 대부분의 모델이 우연 수준(그룹 점수의 경우 약 25%, 두 가지 가능한 쌍이 있고 모델이 올바른 것을 선택해야 하므로)에서 또는 그 근처에서 수행되었음을 보여주었습니다. 예를 들어, CLIP(대비 언어-이미지 사전 훈련) 및 기타 이중 인코더 아키텍처와 같은 모델은 이미지와 텍스트를 공유 공간에 임베딩하며, 종종 두 캡션을 구별하지 못했습니다. 이는 이러한 모델이 이미지 캡션 검색이나 시각적 질문 응답과 같은 다른 벤치마크에서 높은 점수를 달성했기 때문에 놀라운 일이었습니다. 이 실패는 이러한 모델이 진정한 구성적 추론을 수행하지 않는다는 점을 강조했습니다. 대신, 개별 객체의 존재나 관계 구조를 이해할 필요가 없는 단어와 시각적 특징 간의 상관관계에 의존하는 경우가 많았습니다.
후속 작업은 Transformer (architecture) 및 Large language model 기반 아키텍처를 포함한 다양한 모델 아키텍처의 한계를 조사하기 위해 Winoground를 사용했습니다. 연구자들은 더 정교한 주의 메커니즘을 가진 모델이나 Cross-Attention 또는 Multi-Head Attention 레이어와 같은 추가 목표로 훈련된 모델이 때때로 개선된 성능을 보이지만, 그럼에도 불구하고 점수는 인간 수준에 훨씬 미치지 못한다는 것을 발견했습니다. 이 벤치마크는 또한 훈련 데이터 규모와 합성 데이터 사용의 효과를 연구하는 데 사용되었으며, 일부 연구는 구성적 예제로 훈련 데이터를 증강하면 Winoground 성능이 향상될 수 있지만 일반화는 여전히 과제로 남아 있음을 보여주었습니다.
다른 벤치마크와의 관계
Winoground는 AI에서 구성적 일반화를 테스트하는 더 넓은 벤치마크 계열의 일부입니다. 개념적으로는 자연어 처리의 Winograd Schema Challenge와 관련이 있으며, 이는 상호참조 해결과 상식 추론을 테스트합니다. 시각-언어 영역에서는 VQA(시각적 질문 응답) 및 이미지-텍스트 검색과 같은 다른 벤치마크를 보완하지만, 구성적 측면을 구체적으로 분리합니다. 모델이 언어 사전 지식이나 객체 동시발생 통계를 사용할 수 있는 작업과 달리, Winoground는 모델이 캡션의 정확한 구문 구조를 사용하도록 강제합니다. 이는 Residual Network (ResNet) 또는 U-Net 기반 이미지 인코딩과 같은 새로운 아키텍처와 Curriculum Learning 또는 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백 기반 강화 학습)과 같은 훈련 기법을 개발하는 연구자에게 귀중한 진단 도구가 됩니다.
이 벤치마크는 비디오용 Winoground나 다국어 설정과 같은 변형 및 확장에도 영감을 주었지만, 이러한 것은 덜 표준화되어 있습니다. 원본 데이터셋은 공개적으로 제공되며, OpenAI, Google DeepMind, Anthropic을 포함한 여러 회사 및 연구소의 모델 평가 스위트에 통합되어 구성적 이해의 진행 상황을 추적하는 방법으로 사용됩니다.
한계 및 비판
일부 연구자들은 Winoground에 한계가 있다고 지적했습니다. 데이터셋은 상대적으로 작아(400개 예제) 평가 결과의 높은 분산을 초래할 수 있으며, 특히 확률적 모델의 경우 더욱 그렇습니다. 예제는 모두 영어로 되어 있고 주어-동사-목적어 순서 및 공간 관계와 같은 제한된 구성적 현상 집합에 초점을 맞추고 있어 시각-언어 이해의 전체 구성적 도전 범위를 포착하지 못할 수 있습니다. 또한 작업의 이진적 특성(두 이미지를 두 캡션에 매칭)은 때때로 단일 구별 단어에 초점을 맞추는 것과 같은 단순한 휴리스틱을 사용하는 모델이 문장을 완전히 이해하지 않고도 해결할 수 있습니다. 이러한 비판에도 불구하고, Winoground는 Artificial intelligence 및 Machine learning 분야에서 널리 인용되고 영향력 있는 벤치마크로 남아 있으며, 새로운 모델과 훈련 방법의 표준 테스트로 계속 사용되고 있습니다.