자기회귀 모델(autoregressive model)은 시퀀스를 한 번에 한 요소씩 생성하는 생성 모델로, 각각의 새 요소는 그 이전에 생성된 모든 요소에 조건화된다. 자연어 처리에서 이는 이미 생성된 토큰 시퀀스가 주어졌을 때 다음 토큰을 예측한 다음, 그 토큰을 다시 입력에 넣어 그 다음 토큰을 예측하는 방식을 의미한다. 이 용어는 통계학에서 유래했는데, 통계학의 자기회귀 모델은 시계열의 한 값을 그 자신의 과거 값들로부터 예측한다. 현대의 대규모 언어 모델은 동일한 좌에서 우로의 분해 방식을 텍스트에 적용한다.
자기회귀 생성은 OpenAI의 GPT 시리즈부터 Anthropic의 Claude, Meta의 Llama에 이르기까지, 대규모 언어 모델을 기반으로 한 대부분의 현대 챗봇 뒤에 있는 기본 디코딩 전략이다. 이것이 시퀀스를 생성하는 유일한 방법은 아니지만, 2025년 현재 텍스트 생성의 지배적인 패러다임으로 남아 있으며, 오디오, 코드, 심지어 일부 이미지 생성에도 그 변형이 사용된다.
역사
통계적 자기회귀 모델은 컴퓨팅이 존재하기 훨씬 이전인 1920년대 시계열 연구로 거슬러 올라간다. 언어 모델링에서 1980년대와 1990년대의 n-gram 모델은 본질적으로 자기회귀적이었는데, 고정된 창(window)의 앞선 단어들로부터 다음 단어를 확률 기반으로 예측했다. 신경망 기반 자기회귀 언어 모델은 순환 신경망과 이후의 LSTM 네트워크와 함께 등장했으며, 이들은 시퀀스를 단계별로 처리하고 각 단계에서 다음 단어를 예측했다. 이러한 패러다임은 트랜스포머 아키텍처로 거의 그대로 이어졌다. GPT-2와 그 후속 모델들은 다음 토큰을 예측하도록 훈련된 디코더 전용 트랜스포머이며, 이러한 목적 함수는 때때로 인과 언어 모델링(causal language modeling)이라고 불린다.
작동 방식
훈련 중에 자기회귀 모델은 말뭉치(corpus) 텍스트를 입력받아 각 위치에서 이전의 모든 토큰이 주어졌을 때 다음 토큰을 예측하도록 요구받는다. 이러한 접근 방식은 레이블이 인간의 주석이 아닌 텍스트 자체에서 나오기 때문에 자기 지도 학습으로 알려져 있다. 모델의 손실 함수는 일반적으로 예측된 다음 토큰 분포와 실제 다음 토큰 사이의 교차 엔트로피(cross-entropy)이다. 추론 시에는 탐욕 디코딩(greedy decoding), top-k, 또는 nucleus sampling과 같은 샘플링 전략을 통해 모델의 예측 확률 분포에서 다음 토큰을 선택하며, 선택된 토큰은 컨텍스트에 추가된 후 다음 예측에 사용된다. 이 과정은 종료 토큰(end-of-sequence token)이 생성되거나 최대 길이 제한에 도달할 때까지 반복된다.
다른 접근 방식과의 비교
자기회귀 모델은 비자기회귀(non-autoregressive) 및 확산(diffusion) 기반 접근 방식과 대조된다. 확산 모델은 대부분의 이미지 및 비디오 생성에 사용되며, 전체 출력을 한 번에 생성한 다음 노이즈를 제거하는 방식으로 반복적으로 정제한다. 일부 연구 시스템은 속도 향상을 위해 비자기회귀 텍스트 생성을 탐구했고, 2020년대 중반에는 소수의 연구소에서 확산 기반 텍스트 모델을 실험했지만, 2025년까지 언어 생성의 주류 방식으로 자기회귀 디코딩을 대체하지는 못했다. 상태 공간 모델 (Mamba 등)도 순차적 예측이라는 의미에서 자기회귀적이지만, 트랜스포머의 어텐션 메커니즘을 다른 계산 구조로 대체한다.
한계
자기회귀 생성은 본질적으로 순차적이다. 각 토큰은 이전 토큰에 의존하므로, 훈련 시 모든 위치를 한 번에 계산할 수 있는 것(teacher forcing)과 달리 추론 시에는 병렬 처리가 제한된다. 이러한 순차적 병목 현상을 해결하기 위해 투기적 디코딩과 같은 기법이 동기부여되었는데, 이는 더 작은 초안 모델(draft model)이 여러 토큰을 제안하고 더 큰 모델이 이를 병렬로 검증하는 방식이다. 또한 자기회귀 모델은 작은 오류가 누적될 수 있다. 생성 초반에 비정상적이거나 잘못된 토큰이 나오면 이후의 모든 토큰 생성에 영향을 주는 컨텍스트의 일부가 되며, 이는 환각 및 매우 긴 생성에서 출력 품질 저하와 관련이 있다.
영향
자기회귀적 다음 토큰 예측 목표는 현대 AI의 핵심이다. 이는 단순하고 레이블이 지정된 데이터가 필요 없으며, 데이터와 계산량에 따라 예측 가능하게 확장된다. 이러한 확장성은 스케일링 법칙으로 연구되었다. 이러한 단순함 덕분에 단일 훈련 목표만으로도 코딩, 번역, 추론 등을 수행할 수 있는 모델을 만들 수 있었으며, 이는 작업별 아키텍처가 필요 없게 된 일반화 가능성으로, 이후 기반 모델이라는 개념으로 공식화되었다.