SWAG(Situations With Adversarial Generations)는 인공지능 시스템이 일상적인 상황에 대해 상식 추론을 수행하는 능력을 평가하기 위해 설계된 대규모 벤치마크 데이터셋이다. 이 데이터셋은 2018년 워싱턴 대학교와 앨런 인공지능 연구소의 연구진이 Rowan Zellers와 Yejin Choi의 주도로 도입했다. 데이터셋은 객관식 자연어 추론 과제로 구성되며, 상황을 설명하는 전제가 주어지면 모델은 네 가지 옵션 중 가장 그럴듯한 후속 문장을 선택해야 한다. SWAG는 "적대적" 생성 기법을 사용하는 것으로 유명하며, 이 기법은 문법적으로 유창하고 의미적으로 그럴듯하지만 틀린 방해 요소를 만들어 표면적 언어 패턴이 아닌 더 깊은 추론을 시험한다.
이 벤치마크는 자연어 처리와 기계 학습 분야, 특히 상식 추론의 진전을 측정하는 데 있어 표준 평가 도구가 되었다. 대규모 언어 모델과 기타 신경망 아키텍처를 평가하는 데 널리 사용되었으며, 더 복잡하고 다양한 예시로 접근 방식을 확장한 HellaSwag와 같은 후속 벤치마크 개발에 영향을 미쳤다. SWAG의 설계는 AI에서 적대적 평가의 중요성을 강조하며, 모델이 단순한 패턴 매칭을 넘어 더 견고한 이해로 나아가도록 유도한다.
데이터셋 구성
SWAG 데이터셋은 비디오 캡션 말뭉치, 특히 영화 장면 설명을 포함하는 LSMDC(Large Scale Movie Description Challenge) 데이터셋에서 문장 쌍을 수집하여 생성되었다. 연구진은 73,000개의 훈련 예시, 20,000개의 검증 예시, 20,000개의 테스트 예시를 추출했다. 각 전제에 대해 네 가지 가능한 결말을 생성했는데, 하나는 올바른 결말(실제 캡션)이고 세 개는 틀린 결말이다. 틀린 결말은 인간이 작성한 템플릿과 자동 생성 방법의 조합으로 만들어졌으며, 여기에는 그럴듯하지만 틀린 후속 문장을 생성하도록 훈련된 언어 모델이 포함된다. 이러한 적대적 생성 과정은 방해 요소가 문법성이나 주제 일관성과 같은 단순한 휴리스틱으로 쉽게 구별되지 않도록 보장한다.
SWAG의 각 예시는 자연어 추론 문제로 구성되며, 전제는 상황에 대한 짧은 설명이고 과제는 가장 그럴듯하게 이어질 결말을 식별하는 것이다. 데이터셋은 요리, 운전, 사회적 상호작용에 이르기까지 다양한 일상 활동을 다루며, 모델이 일반적인 세계 지식과 인과 추론에 의존해야 한다.
평가 및 중요성
SWAG는 인공지능 및 기계 학습 분야, 특히 대규모 언어 모델과 기타 딥러닝 시스템을 평가하는 데 사용되는 벤치마크이다. 과제는 올바른 결말을 선택하는 데 높은 정확도를 달성하는 것이며, 무작위 추측은 25%의 정확도를 산출한다. 순환 신경망과 초기 트랜스포머 아키텍처를 기반으로 한 초기 모델은 60%를 넘기 어려워 상식 추론의 어려움을 강조했다. BERT와 같은 트랜스포머 기반 모델의 도입은 상당한 개선을 가져왔으며, 일부 모델은 2019년까지 80% 이상의 정확도를 달성했다.
이 벤치마크는 상식 추론 연구를 추진하는 데 중요한 역할을 했으며 수많은 논문에서 인용되었다. GLUE 및 SuperGLUE와 같은 다른 벤치마크와 함께 자주 사용되어 모델의 언어 이해 능력에 대한 포괄적인 평가를 제공한다. SWAG의 적대적 특성은 특히 도전적이며, 모델이 표면적으로 그럴듯하지만 틀린 옵션에 속지 않도록 해야 한다.
다른 벤치마크와의 관계
SWAG는 여러 후속 벤치마크에 영감을 주었으며, 가장 주목할 만한 것은 2019년 같은 연구 그룹이 도입한 HellaSwag이다. HellaSwag는 유사한 적대적 생성 접근 방식을 사용하지만 더 크고 다양한 데이터셋을 갖추고 있으며, 대규모 언어 모델을 평가하는 인기 있는 벤치마크가 되었다. 다른 관련 벤치마크로는 상호참조 해결을 테스트하는 Winograd Schema Challenge와 물리적 상식에 초점을 맞춘 PIQA(Physical Interaction: Question Answering)가 있다. SWAG는 종종 이러한 벤치마크와 함께 단순한 텍스트 분류를 넘어 AI 시스템의 세계 이해를 평가하려는 더 넓은 노력의 일부로 묶인다.
이 벤치마크는 생성형 AI 맥락에서도 사용되며, 모델이 일관되고 맥락에 적합한 텍스트를 생성하는 능력이 평가된다. SWAG는 판별적 과제(옵션 중 선택)이지만, 그럴듯한 후속 문장을 생성할 수 있는 모델은 선택 과제에서도 잘 수행할 가능성이 높으므로 모델의 생성 능력에 대한 통찰력을 제공한다.
한계 및 비판
널리 사용됨에도 불구하고 SWAG는 몇 가지 비판에 직면했다. 한 가지 한계는 데이터셋이 영화 캡션에서 파생되어 일상 상황의 다양성을 완전히 대표하지 못할 수 있으며, 잠재적으로 편향을 도입할 수 있다는 점이다. 또한 적대적 생성 과정은 효과적이지만 모델에 따라 방해 요소가 너무 쉽거나 너무 어려울 수 있다. 일부 연구자들은 SWAG에서 높은 성능이 실제 응용 프로그램에서 견고한 상식 추론으로 반드시 이어지지는 않는다고 지적하는데, 과제가 여전히 상대적으로 좁기 때문이다. 그럼에도 불구하고 SWAG는 자연어 이해의 진전을 벤치마킹하는 귀중한 도구로 남아 있으며 더 유능한 AI 시스템 개발에 크게 기여했다.
AI 연구에 미친 영향
SWAG는 인공지능 분야, 특히 자연어 처리와 상식 추론 영역에 지속적인 영향을 미쳤다. 초기 신경망부터 최첨단 대규모 언어 모델에 이르기까지 다양한 모델을 평가하는 데 사용되었으며, 다양한 아키텍처의 강점과 약점을 식별하는 데 도움이 되었다. 이 벤치마크는 또한 적대적 평가 기법의 개발을 장려했으며, 이러한 기법은 현재 AI 연구에서 모델 견고성을 테스트하는 데 널리 사용된다. 2025년 현재 SWAG는 학술 문헌에서 계속 인용되고 있으며 많은 모델 평가 제품군에 포함되어 AI의 세계 추론 능력을 이해하고 개선하기 위한 기초 도구로 기능하고 있다.