추측 디코딩은 대형 언어 모델을 위한 추론 시간 최적화 기법으로, 더 작고 빠른 드래프트 모델을 사용하여 주 모델보다 앞서 여러 후보 토큰을 제안한 다음, 주 모델이 단일 병렬 패스에서 이를 검증하거나 거부함으로써 자기회귀 텍스트 생성을 가속화한다. 검증이 한 번에 여러 토큰을 확인할 수 있기 때문에, 이 기법은 표준 디코딩과 동일한 출력 분포를 생성하면서도 대형 모델을 통한 순차 패스 수를 줄여 지연 시간을 낮추며, 모델이 생성했을 내용을 변경하지 않는다.
이 접근 방식은 2022년과 2023년에 Google과 DeepMind의 연구에서 설명되었으며, 2024년까지 주요 추론 시스템에서 채택되어 프로덕션 환경에서 대형 모델 서빙 비용과 지연 시간을 줄이는 표준 기법이 되었다.
작동 방식
표준 자기회귀 추론에서 모델은 한 번에 하나의 토큰을 생성하며, 각 토큰은 다음 토큰을 생성하기 전에 전체 순방향 패스가 필요하므로 본질적으로 순차적인 과정이다. 추측 디코딩은 실행 비용이 훨씬 저렴한 더 작은 드래프트 모델이 짧은 후보 토큰 시퀀스를 생성하도록 하여 이 병목 현상을 해소한다. 그런 다음 대형 대상 모델은 단일 배치 순방향 패스에서 모든 후보를 평가하여 각 제안된 토큰에 유사한 확률을 할당했을지 확인한다. 이 검사를 통과한 토큰은 수락되고, 실패한 첫 번째 토큰은 대상 모델의 자체 예측으로 수정되며, 그 이후의 나머지 드래프트 토큰은 폐기된다. 여러 토큰에 대한 전체 순방향 패스는 단일 토큰 패스보다 비용이 거의 들지 않는데, 이는 현대 GPU에서 계산이 산술 연산보다 메모리 대역폭에 의해 지배되는 경우가 많기 때문이며, 수락된 다중 토큰 단계는 상당한 순 속도 향상을 가져온다.
설계 변형
핵심 아이디어의 여러 변형이 제안되었다. 일부 시스템은 증류되거나 그 외 관련된 작은 모델을 드래프트 모델로 사용하고, 다른 시스템은 대상 모델 자체의 레이어 하위 집합이나 최근 컨텍스트의 n-그램 기반 경량 조회를 사용하여 별도의 드래프트 모델을 훈련하고 유지할 필요를 없앤다. Medusa 및 유사한 접근 방식은 원래 모델 자체에 추가 예측 헤드를 부착하여 별도의 모델 없이 여러 미래 토큰을 제안한다. 드래프트 전략의 선택은 드래프트 토큰이 대상 모델이 생성했을 내용과 일치하는 빈도를 의미하는 수락률과 드래프트 단계 실행의 추가 비용 모두에 영향을 미친다.
영향
추측 디코딩은 올바르게 구현되면 모델의 출력 분포를 변경하거나 재훈련을 요구하지 않고 출력이 계산되는 속도만 변경한다는 점에서 거의 무료 최적화에 가깝다는 점에서 주목할 만하다. 이는 출력 품질에 영향을 줄 수 있는 양자화나 지식 증류와 같은 손실이 있는 효율성 기법과 구별된다. 2020년대 중반까지 추측 디코딩은 주요 모델 제공업체에서 표준 서빙 인프라의 일부로 널리 배포되었으며, 특히 채팅 인터페이스와 GitHub Copilot 및 Claude Code와 같은 코딩 어시스턴트와 같은 지연 시간에 민감한 애플리케이션에서 사용되었고, 프론티어 모델을 대규모로 실행하는 비용을 줄이기 위해 다른 서빙 최적화와 자주 결합되었다.