FastText는 Facebook AI Research(FAIR)가 단어 표현 학습과 텍스트 분류를 위해 개발한 오픈소스 라이브러리이다. 2016년에 공개되었으며, 계산 효율성에 중점을 두고 머신러닝 기법을 결합하여 대규모 자연어 처리 작업에 적합하다. GitHub 저장소는 2024년 3월 19일에 보관 처리되어 적극적인 개발은 종료되었지만, 소스 코드와 사전 훈련된 모델은 여전히 사용 가능하다.
단어 표현
FastText는 word2vec에서 사용되는 skip-gram 모델을 기반으로 하지만, 단어를 하나의 전체로만 학습하는 대신 단어의 내부 구조를 활용한다. 단어를 문자 n-gram의 합으로 표현함으로써, 문자 시퀀스를 공유하는 단어들은 학습된 표현의 일부 정보를 공유할 수 있다.
이러한 하위 단어 정보 활용은 특히 희귀 단어나 복잡한 형태론을 가진 언어에 유용하며, 훈련 중에 보지 못한 단어에 대해서도 FastText가 표현을 구성할 수 있게 한다. Facebook AI Research는 이후 157개 언어에 대해 Common Crawl과 Wikipedia에서 훈련된 사전 훈련된 FastText 벡터를 공개했다. 이러한 벡터들은 머신러닝 분류기 및 의미 유사성 작업과 같은 다양한 다운스트림 애플리케이션에서 널리 채택되었다.
텍스트 분류
FastText는 지도 학습 기반 텍스트 분류에도 사용될 수 있다. 단어와 단어 n-gram의 정보를 결합하여 클래스 레이블을 예측한다. 이 방법은 계산 효율성을 위해 설계되었으며, 원래 평가에서는 여러 현대 딥러닝 모델과 비슷한 정확도를 유지하면서도 훈련 및 예측 속도가 훨씬 빨랐다. 지도 학습 모드는 대규모 레이블 집합을 효율적으로 처리하기 위해 계층적 소프트맥스를 사용하며, 감정 분석 및 문서 태깅과 같은 작업에 실용적이다.
구조 및 훈련
핵심 모델은 단일 은닉층을 가진 얕은 신경망으로, 현대 딥러닝에서 흔히 볼 수 있는 깊은 구조와 대조적이다. 비지도 모드에서는 각 단어가 문자 n-gram 벡터의 합으로 표현되며, 선택적으로 전체 단어 벡터가 추가된다. 지도 모드에서는 입력 텍스트가 단어 벡터의 평균으로 임베딩된 후 선형 분류기를 통과한다. 훈련은 확률적 경사 하강법과 네거티브 샘플링을 사용하여 계산 비용을 줄이며, 이러한 단순성 덕분에 FastText는 단일 머신에서 수십억 개의 단어를 몇 분 만에 처리할 수 있다.
유산 및 영향
FastText는 특히 계산 자원이 제한된 환경에서 텍스트 표현 및 분류 분야의 후속 연구에 영향을 미쳤다. 하위 단어 정보를 활용한 접근 방식은 형태론적으로 풍부한 언어와 어휘 외 단어 처리에 대한 연구에 기여했으며, 더 복잡한 모델(예: 대규모 언어 모델)의 기준선으로 여전히 사용되고 있다. 보관된 저장소와 공개된 사전 훈련된 벡터는 학계와 산업계 연구자 및 실무자들에 의해 계속 사용되고 있으며, 아마존 웹 서비스 및 구글 클라우드와 같은 클라우드 플랫폼을 포함한 맞춤형 인공지능 파이프라인에도 통합되고 있다.
같이 보기
- Word2vec
- GloVe
- 신경망 (머신러닝)
- 자연어 처리