서브워드 토큰화는 자연어 처리에서 원시 텍스트를 일련의 토큰으로 변환하는 기법으로, 각 토큰은 단어 전체, 단어의 일부, 또는 단일 문자일 수 있습니다. 이는 각 단어를 분할할 수 없는 단위로 취급하는 단어 수준 토큰화와 텍스트를 개별 문자로 처리하는 문자 수준 토큰화 사이에 위치합니다. 서브워드 단위를 사용함으로써 토크나이저는 큰 어휘를 효율적으로 처리하고, 희귀하거나 보이지 않는 단어를 표현하며, 의미 있는 형태소 정보를 보존할 수 있습니다. 이 접근 방식은 현대 대규모 언어 모델과 텍스트를 처리하는 기타 신경망 아키텍처의 기초입니다.
핵심 아이디어는 단어를 훈련 말뭉치에서 자주 나타나는 더 작은 조각으로 분해하는 것입니다. 예를 들어, "unhappiness"라는 단어는 "un", "happi", "ness"로 분할될 수 있으며, 충분히 흔한 경우 "unhappiness"가 단일 토큰으로 유지될 수도 있습니다. 이러한 유연성 덕분에 모델은 알려진 서브워드 단위를 결합하여 새로운 단어를 이해할 수 있으면서도 어휘 크기를 관리 가능하게 유지합니다. 서브워드 토큰화는 2010년대 중반 이후 널리 채택되었으며 Transformer (architecture) 기반 모델의 핵심 구성 요소입니다.
역사와 발전
서브워드 토큰화의 개념은 기계 번역과 언어 모델링에서 개방형 어휘 문제를 처리해야 할 필요성에서 등장했습니다. 1990년대와 2000년대의 초기 접근 방식은 형태소 분석을 사용했지만, 이러한 방법은 종종 언어별로 특화되어 있고 계산 비용이 높았습니다. 주요 돌파구는 2016년 Rico Sennrich와 동료들이 텍스트 압축을 위한 바이트 페어 인코딩(BPE)을 토큰화에 적용하면서 이루어졌습니다. 그들의 논문 "희귀 단어의 신경 기계 번역을 위한 서브워드 단위"는 BPE가 Sequence-to-Sequence (Seq2Seq) 모델에서 희귀 단어를 효과적으로 처리할 수 있음을 보여주었습니다.
같은 시기에 Google에서 WordPiece 모델이 개발되었으며, 처음에는 음성 인식용으로 사용되다가 나중에 BERT로 널리 알려졌습니다. 또 다른 변형인 유니그램 언어 모델은 2018년 Taku Kudo가 도입했으며 ALBERT 및 T5와 같은 모델에서 사용되었습니다. 이러한 방법은 서브워드 단위를 선택하는 방식에서 차이가 있지만, 모두 텍스트의 최적 분할을 찾는 공통 목표를 공유합니다.
방법과 알고리즘
바이트 페어 인코딩 (BPE)
BPE는 연속된 기호(초기에는 문자)의 가장 빈번한 쌍을 반복적으로 새 기호로 병합하는 데이터 압축 알고리즘입니다. 토큰화의 경우, 텍스트 말뭉치를 문자로 분할하는 것에서 시작하여 인접한 쌍을 반복적으로 계산하고 목표 어휘 크기에 도달할 때까지 가장 빈번한 쌍을 병합합니다. 결과 어휘에는 문자, 서브워드, 전체 단어가 포함됩니다. BPE는 OpenAI의 GPT 시리즈와 Meta의 LLaMA를 포함한 많은 모델에서 사용됩니다.
WordPiece
WordPiece는 BPE와 유사하지만 병합에 우도 기반 기준을 사용합니다. 개별 문자로 시작하여 훈련 데이터의 우도를 최대화하는 새 토큰을 추가하여 어휘를 구축합니다. 이 접근 방식은 더 언어학적으로 의미 있는 서브워드를 생성하는 경향이 있습니다. WordPiece는 BERT, ELECTRA 및 Google의 다른 모델에서 사용됩니다.
유니그램 언어 모델
유니그램 토큰화는 각 서브워드를 독립적인 단위로 취급하고 확률적 모델을 사용하여 각 단어에 대한 최상의 분할을 선택합니다. 가능한 서브워드의 큰 어휘로 시작한 다음 각 토큰이 전체 우도에 기여하는 정도에 따라 어휘를 가지치기합니다. 이 방법은 여러 분할을 허용하며 SentencePiece 구현에서 사용됩니다.
현대 언어 모델에서의 역할
서브워드 토큰화는 거의 모든 현대 대규모 언어 모델의 중요한 전처리 단계입니다. GPT-4, Claude, Gemini와 같은 모델은 Transformer (architecture) 아키텍처에 입력하기 전에 텍스트를 서브워드 토큰으로 변환하는 토크나이저에 의존합니다. 토크나이저의 선택은 모델 성능, 계산 효율성 및 여러 언어를 처리하는 능력에 영향을 미칩니다.
예를 들어, 더 큰 어휘를 가진 토크나이저는 더 많은 단어를 단일 토큰으로 표현할 수 있어 시퀀스 길이와 계산 비용을 줄일 수 있지만, 모델의 메모리 사용량을 증가시킬 수도 있습니다. 반대로, 더 작은 어휘는 더 많은 단어를 분할하도록 강제하여 더 긴 시퀀스와 의미 손실 가능성을 초래할 수 있습니다. 토크나이저는 일반적으로 대규모 말뭉치에서 훈련되며 모델 훈련 중에 고정된 상태로 유지됩니다.
서브워드 토큰화는 또한 교차 언어 전이를 가능하게 합니다. 언어 간에 서브워드 단위를 공유함으로써 모델은 코드 스위칭과 저자원 언어의 희귀 단어를 더 잘 처리할 수 있습니다. 이는 mBERT 및 XLM-RoBERTa와 같은 다국어 모델에서 특히 중요합니다.
과제와 미래 방향
널리 사용됨에도 불구하고 서브워드 토큰화에는 한계가 있습니다. 한 가지 문제는 형태소 경계와 일치하지 않는 임의의 분할을 생성할 수 있어 모델이 단어 구조를 학습하기 어렵게 만든다는 점입니다. 또 다른 과제는 의학이나 법률과 같은 전문 분야에서 새 용어가 자주 등장하는 경우의 어휘 외 단어 처리입니다. 일부 연구자들은 이러한 문제를 피하기 위해 문자 수준 또는 바이트 수준 토큰화를 제안했지만, 이러한 접근 방식은 종종 더 긴 시퀀스와 더 많은 계산을 요구합니다.
최근 개발에는 훈련 중에 토크나이저를 조정할 수 있는 적응형 토큰화와 고정 토크나이저 없이 텍스트 분할을 학습하는 종단 간 모델이 포함됩니다. 그러나 2025년 현재 서브워드 토큰화는 대부분의 프로덕션 시스템에서 표준으로 남아 있으며, 효율성과 언어적 품질을 개선하기 위한 지속적인 연구가 진행 중입니다.