SST Binary는 자연어 처리에서 이진 감성 분류를 위해 널리 사용되는 벤치마크 데이터셋이다. 이는 2013년 스탠포드 대학의 연구자들(리처드 소처(Richard Socher)와 크리스토퍼 매닝(Christopher Manning) 포함)이 도입한 스탠포드 감성 트리뱅크(SST)의 하위 집합이다. SST는 원래 영화 리뷰 내 구문에 대해 세분화된 감성 레이블(매우 부정, 부정, 중립, 긍정, 매우 긍정)을 제공하도록 설계되었지만, 이진 버전은 이를 긍정과 부정의 두 클래스로 축소한다. 이러한 단순화로 인해 SST Binary는 감성 분석, 특히 문장 수준 또는 구문 수준의 극성을 처리해야 하는 모델을 평가하기 위한 표준 테스트베드가 되었다.
이 데이터셋은 영화 리뷰에서 추출된 6,920개의 단일 문장으로 구성되며, 각 문장은 긍정 또는 부정으로 레이블링된다. 원래 SST에는 구문 수준의 주석도 포함되지만, SST Binary는 일반적으로 문장 수준의 이진 분할을 의미한다. 훈련, 개발, 테스트 분할은 미리 정의되어 있으며, 총 6,920개의 문장이 있다: 6,920개의 문장은 6,920개의 훈련 예제로 나뉘지만, 표준 분할은 훈련에 6,920개, 개발에 872개, 테스트에 1,821개를 사용한다(이 숫자는 대략적이며 릴리스에 따라 약간 다를 수 있다). 이진 레이블은 세분화된 버전에서 중립 예제를 제외하여 명확히 긍정 또는 부정인 문장만 남김으로써 파생된다.
구축 및 주석
SST는 스탠포드 감성 트리뱅크 코퍼스에서 구축되었으며, 이 코퍼스는 2005년 팡(Pang)과 리(Lee)가 원래 수집한 영화 리뷰 데이터셋에서 파생되었다. 원래 리뷰는 스탠포드 파서를 사용하여 각 문장에 대한 트리 구조를 생성하고, 트리의 모든 노드에 감성 레이블을 할당했다. 이진 버전의 경우 루트 노드(전체 문장)만 사용되며, 레이블은 이진화된다: 세분화된 레이블 '긍정'과 '매우 긍정'은 '긍정'이 되고, '부정'과 '매우 부정'은 '부정'이 된다. 중립 레이블은 제외되어, 긍정과 부정 문장이 거의 동일한 수로 구성된 비교적 균형 잡힌 데이터셋이 된다.
머신 러닝에서의 사용
SST Binary는 Machine learning 및 Deep learning 커뮤니티에서 표준 벤치마크가 되었다. 이는 순환 네트워크, 합성곱 네트워크, 그리고 최근에는 Transformer (architecture) 기반 모델을 포함한 Neural network 모델의 성능을 비교하는 데 자주 사용된다. 데이터셋은 상대적으로 작아 제한된 데이터 조건에서 모델을 테스트하는 데 유용하다. 많은 논문이 SST Binary에서의 정확도를 주요 지표로 보고하며, 2020년대 초 기준 최첨단 모델은 약 95%의 정확도를 달성한다. 이 데이터셋은 또한 전이 학습 연구에서 사용되며, 더 큰 코퍼스에서 사전 훈련된 모델이 SST Binary에서 미세 조정되어 감성 이해 능력을 평가한다.
다른 데이터셋과의 관계
SST Binary는 IMDB 리뷰 및 Yelp 극성과 같은 다른 감성 데이터셋과 자주 비교된다. 더 긴 문서를 포함하는 IMDB와 달리, SST Binary는 단일 문장에 초점을 맞추므로 언어 이해에 대한 더 세밀한 테스트를 제공한다. 세분화된 SST(5개 클래스)도 사용되지만, 더 간단한 작업에는 이진 버전이 선호된다. 이 데이터셋은 Hugging Face의 datasets와 같은 인기 있는 NLP 라이브러리에 포함되어 있으며, Natural language processing에 대한 튜토리얼과 연구 논문에서 자주 사용된다(참고: 제공된 슬러그 목록에 없으므로 링크를 피한다).
한계 및 비판
SST Binary의 한계 중 하나는 크기가 작아 대규모 모델을 처음부터 훈련할 때 과적합을 유발할 수 있다는 점이다. 또한 이진 레이블은 중립 감성을 제외하므로 실제 세계의 모호성을 반영하지 못할 수 있다. 일부 연구자들은 데이터셋이 영화 리뷰의 도메인 특화 언어를 포함하여 다른 도메인으로의 일반화를 제한할 수 있다고 지적한다. 이러한 문제에도 불구하고, SST Binary는 감성 분류를 위한 신뢰할 수 있고 널리 인용되는 벤치마크로 남아 있다.
같이 보기
- Stanford AI Lab - 데이터셋이 생성된 연구소.
- Deep learning - 이 데이터셋을 평가에 자주 사용하는 분야.
- Transformer (architecture) - SST Binary에서 자주 테스트되는 모델 아키텍처.
- Large language model - 이 벤치마크에서 평가되는 현대 모델.