HellaSwag 2023은 인공지능 시스템, 특히 대규모 언어 모델의 상식 추론 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 이는 2019년 워싱턴 대학교와 앨런 인공지능 연구소의 연구자들이 도입한 원래 HellaSwag 데이터셋의 업데이트 버전이다. 2023년 개정판은 통계적 편향의 영향을 줄이고 패턴 매칭이 아닌 진정한 추론을 더 잘 측정하기 위해 질문을 더 어렵게 만드는 데 초점을 맞추고 있다.
이 벤치마크는 객관식 질문으로 구성되어 있으며, 모델은 일상적인 상황을 설명하는 맥락이 주어지고 네 가지 선택지 중 가장 그럴듯한 후속 문장을 선택해야 한다. 원래 HellaSwag는 70,000개의 질문으로 구성되었으며, 그중 10,000개는 검증 및 테스트용으로 예약되었다. 2023년 업데이트는 유사한 구조를 유지하지만, 단어 빈도나 문장 길이와 같은 피상적인 단서에 의존하는 모델에게 특히 더 어렵도록 설계된 새로운 예시를 도입한다.
목적 및 설계
HellaSwag 2023의 주요 목표는 AI 모델이 주어진 시나리오에서 다음에 일어날 일을 예측할 수 있을 만큼 물리적, 사회적 세계를 이해하는지 테스트하는 것이다. 예를 들어, 질문은 사람이 유리잔에 물을 붓는 상황을 설명하고 다음에 무슨 일이 일어나는지 물어볼 수 있으며, 선택지는 유리잔이 넘치는 것부터 그 사람이 물을 마시는 것까지 다양하다. 정답을 맞히려면 모델이 중력, 용량, 그리고 전형적인 인간 행동에 대해 추론해야 한다.
이 데이터셋은 인간이 작성한 예시와 기계가 생성한 예시를 결합하여 만들어졌다. 원래 버전은 적대적 필터링(Adversarial Filtering)이라는 기법을 사용했는데, 이는 언어 모델이 후보 연속 문장을 생성한 다음 인간 주석자가 가장 그럴듯하면서도 다른 모델을 속일 가능성이 높은 문장을 선택하는 방식이다. 2023년 업데이트는 이 과정을 개선하여 더 긴 맥락과 더 미묘한 상황을 포함하는 훨씬 더 어려운 질문을 만든다.
평가 및 채점
모델은 정답을 선택하는 정확도로 평가된다. 이 벤치마크는 정확도를 백분율로 보고하며, 점수가 높을수록 상식 추론 능력이 더 우수함을 나타낸다. 원래 HellaSwag에서 최첨단 모델은 약 85-90%의 정확도를 달성했지만, 2023년 버전은 상당히 어려워져 많은 모델이 80% 미만의 점수를 기록한다. 2024년 초 기준으로 OpenAI와 Google DeepMind의 모델과 같은 최고 성능의 대규모 언어 모델은 약 90%의 정확도를 달성하는 반면, 더 작은 모델은 종종 70% 미만에 머문다.
이 벤치마크는 인공지능 연구 커뮤니티에서 상식 추론을 위한 표준 테스트로 널리 사용된다. 이는 SuperGLUE 및 MMLU와 같은 다른 벤치마크와 함께 서로 다른 모델의 성능을 비교하는 리더보드에 자주 포함된다. 연구자들은 HellaSwag 2023을 사용하여 모델의 약점을 식별하고 새로운 훈련 기법 개발을 안내한다.
다른 벤치마크와의 관계
HellaSwag 2023은 AI 역량의 다양한 측면을 평가하는 더 넓은 벤치마크 계열의 일부이다. 상식 추론에 초점을 맞추는 반면, GLUE 및 SuperGLUE와 같은 다른 벤치마크는 언어 이해를 테스트하고 MMLU는 여러 영역에 걸친 지식을 테스트한다. 2023년 업데이트는 훈련 데이터를 단순히 암기하거나 통계적 규칙성을 이용하는 모델에 더 강력하게 설계되었다는 점에서 특히 주목할 만하다.
이 벤치마크는 Artificial intelligence 안전 개념과도 관련이 있는데, 상식 추론은 신뢰할 수 있고 안전한 AI 시스템을 구축하는 데 중요한 구성 요소로 간주되기 때문이다. 상식 추론에 실패하는 모델은 자율 주행이나 의료 진단과 같은 실제 응용 분야에서 위험한 오류를 범할 수 있다. 결과적으로 HellaSwag 2023은 AI 정렬 및 견고성에 관한 연구에서 자주 사용된다.
한계 및 비판
널리 사용됨에도 불구하고 HellaSwag 2023에는 몇 가지 한계가 있다. 비평가들은 이 벤치마크가 모델이 더 길거나 더 복잡한 답변을 선호하는 경향과 같은 특정 편향에 여전히 취약할 수 있다고 주장한다. 또한 질문이 모두 영어로 되어 있고 서양 문화적 맥락에 초점을 맞추고 있어 다른 언어와 문화에는 적용 가능성이 제한될 수 있다.
또 다른 비판은 이 벤치마크가 물리적, 사회적 시나리오에 초점을 맞추지만 논리적 또는 수학적 추론과 같은 다른 유형의 추론은 다루지 않는 좁은 형태의 상식 추론을 측정한다는 것이다. 일부 연구자들은 이러한 공백을 해결하기 위해 보완적인 벤치마크를 제안했지만, HellaSwag 2023은 여전히 표준 참조 지점으로 남아 있다.
향후 방향
HellaSwag 2023의 개발은 더 도전적이고 현실적인 평가 데이터셋을 만드는 Machine learning 분야의 광범위한 추세를 반영한다. 모델이 계속 개선됨에 따라 벤치마크도 보조를 맞추기 위해 진화해야 한다. 향후 HellaSwag 버전은 더 다양한 시나리오, 다국어 질문, 또는 모델이 더 긴 시간 범위에 걸쳐 추론해야 하는 대화형 요소를 통합할 수 있다.
연구자들은 또한 모델의 약점에 기반하여 질문을 즉석에서 생성하는 방식으로 벤치마크를 더 역동적으로 만드는 방법을 모색하고 있다. 적응형 테스트로 알려진 이 접근 방식은 모델의 능력을 더 정밀하게 측정할 수 있다. 2023년 업데이트는 이 방향으로의 한 단계이지만, 여전히 혁신의 여지가 있다.
요약하면, HellaSwag 2023은 AI 시스템의 상식 추론을 평가하는 핵심 도구이다. 업데이트된 설계는 이를 더 도전적으로 만들고 현재 최신 기술 수준과 더 관련성 있게 만들며, Deep learning 및 Large language model 연구에 계속 영향을 미치고 있다.