다음 토큰 예측(next-token prediction)은 자기회귀 언어 모델, 특히 대규모 언어 모델(LLM)에서 사용되는 기본적인 훈련 목표이다. 이 패러다임에서 모델은 주어진 모든 선행 토큰을 바탕으로 시퀀스에서 다음 토큰의 확률을 추정하도록 훈련되며, 조건부 확률 분포 P(token_n | token_1, ..., token_{n-1})를 효과적으로 학습한다. 이 목표를 통해 모델은 가장 가능성 높은 다음 토큰을 반복적으로 샘플링하거나 선택하여 입력 시퀀스에 추가함으로써 텍스트를 생성할 수 있다.
이 접근 방식은 Transformer (architecture) 아키텍처를 기반으로 구축된 현대 대규모 언어 모델의 핵심이며, 이는 초기 순환 신경망 기반 모델과 단어 n-그램 언어 모델과 같은 순수 통계적 모델을 대체했다. 공개 인터넷에서 수집된 방대한 데이터셋으로 훈련함으로써, 이러한 모델은 자연어 생성, 기계 번역, 질의응답을 포함한 광범위한 작업에서 일관되고 맥락에 맞는 텍스트를 생성하는 방법을 학습한다.
역사적 발전
다음 토큰 예측의 개념적 뿌리는 1950년대 노엄 촘스키가 형식 문법을 사용하여 언어를 기술하는 형식적 접근 방식을 개발하면서 시작되었다. 그러나 이러한 초기 모델은 규칙 기반이었고 확률적 예측을 포함하지 않았다. 1970년대에 프레더릭 젤리넥과 IBM 리서치의 동료들은 음성 인식 작업의 일환으로 언어 모델링에 통계적 접근 방식을 도입했다. 그들의 그룹은 단어 시퀀스의 확률적 n-그램 모델을 사용했고 모델 불확실성의 정보 이론적 측정으로서 혼란도(perplexity)를 도입했다.
1980년에는 최초의 중요한 통계적 언어 모델이 제안되었고, 그 10년 동안 IBM은 인간 피험자가 텍스트를 예측하거나 수정하여 언어 모델링의 잠재적 개선점을 식별하는 '섀넌 스타일' 실험을 수행했다. 이러한 통계적 방법은 2000년대 신경망 접근 방식이 부상할 때까지 지배적이었다.
통계적 기초
순수 통계 모델, 특히 단어 n-그램 기반 모델은 이전 n-1개 단어가 주어졌을 때 단어의 확률을 추정한다. 이러한 모델은 훈련 말뭉치에서 발생 횟수를 세는 데 의존하며, 가능한 시퀀스의 수가 어휘 크기에 따라 기하급수적으로 증가하여 데이터 희소성 문제를 초래하는 차원의 저주를 겪는다.
최대 엔트로피 모델과 같은 지수 언어 모델은 특성 함수를 사용하여 단어와 n-그램 이력 간의 관계를 인코딩함으로써 일부 한계를 해결한다. 이력이 주어졌을 때 단어의 확률은 P(w_m | w_1, ..., w_{m-1}) = 1/Z(w_1, ..., w_{m-1}) * exp(a^T f(w_1, ..., w_m))로 계산되며, 여기서 Z는 분할 함수, a는 매개변수 벡터, f는 특성 함수이다. 이러한 모델은 종종 정규화 또는 매개변수에 대한 사전 분포가 필요하다. 로그-이중선형 모델은 지수 언어 모델의 또 다른 예이다.
나중에 도입된 스킵그램 모델은 중심 단어가 주어졌을 때 주변 단어를 예측하는 데 초점을 맞추는데, 이는 엄격한 다음 토큰 예측과는 다르지만 맥락에서 단어 분포를 학습한다는 아이디어를 공유한다.
신경망 언어 모델
신경망 언어 모델은 2000년대에 점점 더 중요해졌다. 요슈아 벤지오와 공동 저자들은 단어 시퀀스의 확률을 추정하면서 분산 단어 표현을 학습하는 확률적 신경망 언어 모델을 도입했다. 이러한 연속 공간 임베딩은 단어를 신경망의 가중치의 비선형 조합으로 표현함으로써 차원의 저주를 완화하는 데 도움이 되었으며, n-그램 모델에 내재된 데이터 희소성 문제를 피했다.
순환 신경망(RNN)은 시퀀스가 처리됨에 따라 이전 단어의 정보를 유지함으로써 이 접근 방식을 확장했다. 2010년에 토마시 미콜로프와 동료들은 순환 신경망 언어 모델이 기존 n-그램 모델보다 훨씬 뛰어난 성능을 발휘할 수 있음을 입증했다. RNN 기반 모델은 시퀀스를 순차적으로 처리하고 맥락을 포착하는 은닉 상태를 유지하며, 이 상태와 현재 입력을 기반으로 다음 토큰을 예측한다.
트랜스포머 혁명
Transformer (architecture) 아키텍처의 도입은 다음 토큰 예측에 중요한 전환점을 마련했다. 자기 주의 메커니즘에 의존하는 트랜스포머는 순차적으로 처리하는 대신 시퀀스의 모든 이전 토큰의 중요성을 동시에 평가할 수 있게 한다. 이러한 병렬화는 훨씬 더 큰 데이터셋에서의 훈련을 가능하게 했고 대규모 언어 모델의 개발로 이어졌다.
2026년 현재, 대규모 언어 모델은 주로 공개 인터넷에서 수집된 텍스트를 사용하여 더 큰 데이터셋으로 훈련된 트랜스포머에 기반을 두고 있다. 이러한 모델은 이전에 순수 통계 모델을 대체했던 순환 신경망 기반 모델을 대체했다. OpenAI, Anthropic, Google DeepMind와 같은 기업들은 다음 토큰 예측을 핵심 훈련 목표로 사용하는 저명한 LLM을 개발했다.
훈련 및 생성 과정
훈련 중에 모델은 토큰 시퀀스를 제시받고 각 토큰이 주어진 선행 토큰을 바탕으로 예측되도록 학습한다. 일반적으로 교차 엔트로피인 손실 함수는 예측 확률과 실제 다음 토큰 간의 차이를 측정한다. 역전파와 최적화 기법을 통해 모델은 훈련 말뭉치 전체에서 이 손실을 최소화하도록 매개변수를 조정한다.
추론 시 텍스트 생성은 자기회귀적으로 진행된다. 모델은 초기 프롬프트를 받고 다음 토큰을 예측한 다음 이를 프롬프트에 추가하고 이 과정을 반복한다. 이는 각 새 토큰이 이전에 생성된 모든 토큰에 조건화된 상태에서 토큰 단위로 텍스트를 생성한다. 토큰 선택은 결정적(가장 높은 확률 선택)이거나 확률적(확률 분포에서 샘플링)일 수 있으며, 온도 스케일링 및 top-k 샘플링과 같은 기법은 출력 다양성에 영향을 미친다.
응용 및 영향
다음 토큰 예측은 텍스트 생성 외에도 다양한 자연어 작업을 가능하게 한다. 여기에는 음성 인식, 기계 번역, 광학 문자 인식, 필기 인식, 문법 유도, 정보 검색 및 재난 대응이 포함된다. 자연어에서 시퀀스를 예측하는 능력은 경로 최적화 및 기타 시퀀스 기반 작업에 언어 모델을 유용하게 만든다.
다음 토큰 예측으로 훈련된 대규모 언어 모델은 요약, 코드 생성 및 대화형 AI와 같은 작업에서 능력을 입증했다. 그러나 이러한 모델이 인간 언어 처리의 그럴듯한 인지 모델인지는 여전히 불분명하다. 적어도 순환 신경망의 경우, 연구에 따르면 인간이 학습하지 않는 패턴을 학습하거나 인간이 일반적으로 학습하는 패턴을 학습하지 못하는 경우가 있다.
평가 및 벤치마크
언어 모델의 평가는 주로 일반적인 언어 중심 작업에서 파생된 인간이 만든 샘플 벤치마크와의 비교를 통해 수행된다. 덜 확립된 다른 품질 테스트는 모델의 내재적 특성을 조사하거나 두 모델을 비교한다. 언어 모델은 동적이며 데이터에서 학습하도록 설계되었기 때문에 일부 제안된 모델은 학습 곡선 검사를 통해 학습 속도를 조사한다.
언어 처리 시스템 평가를 위해 수많은 데이터셋이 개발되었다. 여기에는 Massive Multitask Language Understanding(MMLU), Corpus of Linguistic Acceptability, GLUE benchmark, Microsoft Research Paraphrase Corpus, Multi-Genre Natural Language Inference, Question Natural Language Inference, Quora Question Pairs, Recognizing Textual Entailment, Semantic Textual Similarity Benchmark, SQuAD 질의응답 테스트, Stanford Sentiment Treebank, Winograd NLI, BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender 및 CrowS-Pairs가 포함된다. 이러한 벤치마크는 언어 이해 및 생성의 다양한 측면을 평가하여 모델 성능 비교를 위한 표준화된 측정을 제공한다.
향후 방향
대규모 언어 모델이 계속 진화함에 따라 다음 토큰 예측은 여전히 기본적인 목표로 남아 있지만, 연구자들은 변형과 확장을 탐구하고 있다. 여기에는 인간 피드백으로부터의 강화 학습을 통합하는 목표와 효율성 및 맥락 처리를 개선하는 아키텍처가 포함된다. AWS Trainium 및 Cerebras 시스템과 같은 특수 하드웨어의 지속적인 개발은 이러한 모델을 대규모로 훈련하고 배포하는 계산 요구를 지원하는 것을 목표로 한다.