HellaSwag는 인공지능 시스템, 특히 대규모 언어 모델의 상식 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 2019년 워싱턴 대학교와 앨런 인공지능 연구소의 로완 젤러스(Rowan Zellers)와 동료들에 의해 소개되었다. 이름은 "hell"과 "swag"의 합성어이며, 여기서 "swag"는 "Situations With Adversarial Generations"의 약자이다. 이 벤치마크는 주어진 내러티브에 대해 가장 그럴듯한 연속을 여러 선택지 중에서 고르도록 하여, 일상적인 물리적·사회적 상황을 이해하는 능력을 테스트한다.
이 데이터셋은 7만 개 이상의 객관식 질문으로 구성되어 있으며, 각 질문은 비디오 캡션과 이야기 설명에서 파생되었다. 질문은 적대적으로 설계되었는데, 즉 틀린 선택지는 언어 모델이 생성하여 표면적으로는 그럴듯하지만 의미적으로는 틀리도록 만들어졌다. 이러한 설계는 모델이 단순한 언어적 패턴이나 통계적 단서에 의존하지 않고 진정한 상식 추론에 의존하도록 강제한다.
구축 및 설계
HellaSwag의 구축은 두 단계로 이루어진다. 첫째, 연구자들은 ActivityNet과 WikiHow 같은 비디오 캡션 데이터셋에서 방대한 양의 내러티브 설명을 수집하여 각 질문의 맥락으로 사용했다. 둘째, 생성 언어 모델을 사용하여 각 맥락에 대해 후보 연속을 생성했다. 이렇게 모델이 생성한 연속은 문법적으로는 자연스럽지만 상황과 논리적으로 일치하지 않는 경우가 많아, 정답인 원본 연속과 구별하기 어렵게 만든다.
이 적대적 생성 과정은 HellaSwag의 핵심 특징이다. 이는 모델이 단순히 어휘 중첩이나 표면적 유사성에 의존하여 정답을 맞추는 것을 방지한다. 연구자들은 기존의 많은 모델이 다른 벤치마크에서는 우수한 성능을 보였지만, HellaSwag에서는 무작위 추측보다 약간 높은 정확도에 그쳤음을 보여주었다.
평가 및 영향
HellaSwag는 자연어 처리 분야에서 표준 평가 도구가 되었다. Open LLM Leaderboard와 EleutherAI Language Model Evaluation Harness 같은 주요 평가 제품군에 포함되어 있으며, 연구자들은 Transformer (architecture) 아키텍처와 대규모 언어 모델을 기반으로 한 다양한 모델의 추론 능력을 비교하는 데 사용한다.
초기 HellaSwag 결과는 기계의 상식 추론에 큰 격차가 있음을 드러냈다. 예를 들어, 원래 논문에서 당시 최고 성능 모델의 정확도는 약 48%로, 인간의 약 94%에 크게 미치지 못했다. 이러한 대비는 초기 딥러닝 시스템이 미묘한 일상적 시나리오를 이해하는 데 한계가 있음을 강조했다.
이후 모델 아키텍처와 학습 데이터의 개선으로 상당한 발전이 이루어졌다. OpenAI, Anthropic, Google DeepMind 등이 개발한 현대의 대규모 언어 모델은 HellaSwag에서 90% 이상의 정확도를 달성한다. 이러한 진전은 인공지능과 머신러닝 전반의 발전을 반영하며, 특히 모델이 상식 지식을 포착하고 적용하는 능력이 크게 향상되었음을 보여준다.
한계 및 비판
널리 사용됨에도 불구하고 HellaSwag는 비판을 받기도 한다. 일부 연구자들은 객관식 형식이 모델이 학습 데이터에서 유사한 예를 암기하거나 패턴 매칭을 통해 문제를 해결할 수 있게 하여, 추론 능력을 과대평가할 수 있다고 주장한다. 적대적 선택지가 처음에는 효과적이었지만, 모델이 더 크고 다양한 말뭉치로 학습됨에 따라 이러한 선택지가 덜 도전적으로 변할 수 있다.
또한, 이 벤치마크는 주로 영어의 물리적·사회적 상식을 테스트하므로, 다른 언어와 문화적 맥락에는 적용이 제한적이다. 이러한 격차를 해소하기 위해 X-CSQA와 XCOPA 같은 다국어 버전을 만들려는 시도가 있었지만, HellaSwag 자체는 여전히 영어 전용 자원으로 남아 있다.
관련 벤치마크
HellaSwag는 SWAG(전신), COPA, Winograd Schema Challenge를 포함하는 상식 추론 벤치마크 계열의 일부이다. 이들 벤치마크는 물리적 직관부터 사회적 역학까지 상식 이해의 다양한 측면을 측정하는 것을 목표로 하며, 모델 평가에서 종종 함께 사용되어 추론 능력에 대한 포괄적인 평가를 제공한다.
HellaSwag의 개발은 ANLI(Adversarial NLI)와 TruthfulQA 같은 다른 적대적 벤치마크의 생성에도 영향을 주었다. 이러한 벤치마크는 유사한 생성 기법을 적용하여 견고성과 사실성을 테스트하며, 신경망과 생성형 AI 연구를 안내하는 데 중요한 역할을 하고 있다.
같이 보기
참고 문헌
- Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., & Choi, Y. (2019). HellaSwag: Can a Machine Really Finish Your Sentence? Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.