Top-p 샘플링(핵 샘플링이라고도 함)은 대규모 언어 모델과 같은 자기회귀 확률 모델에서 시퀀스를 생성하는 데 사용되는 확률적 디코딩 전략입니다. 이 기법은 2019년 Ari Holtzman, Yejin Choi 및 동료들이 자연어 생성에서 빔 탐색과 같은 다른 일반적인 디코딩 방법이 생성하는 반복적이고 무의미한 텍스트 문제를 해결하기 위해 처음 제안했습니다. 이후 이 기술은 단백질 공학 및 지구 물리학을 포함한 다른 과학 분야에도 적용되었습니다.
Top-p 샘플링에서는 확률 임계값 p가 설정되며, 시퀀스의 다음 항목은 누적 확률이 p를 초과하는 가장 작은 고확률 후보 집합에서만 샘플링됩니다. 이 방법은 모델의 확신도에 따라 후보 풀의 크기를 조정하여 고정된 수의 후보에서 샘플링하는 top-k 샘플링보다 더 유연합니다. 이러한 효과성 덕분에 top-p 샘플링은 많은 대규모 언어 모델 애플리케이션에서 널리 사용됩니다.
기법
텍스트 생성 과정의 각 단계에서 언어 모델은 전체 어휘에 대한 다음 토큰의 확률 분포를 계산합니다. 가장 높은 확률의 토큰을 선택하는 탐욕 탐색이나 제한된 고확률 시퀀스 집합을 선택하는 빔 탐색과 같은 결정론적 방법은 종종 지루하거나 반복적이거나 무의미한 텍스트를 생성할 수 있습니다. Top-p 샘플링은 이러한 문제를 피하면서 품질을 유지하기 위해 무작위성을 도입합니다.
핵심 아이디어는 각 단계에서 핵이라고 하는 더 작고 신뢰할 수 있는 토큰 집합에서 샘플링하는 것입니다. 이 핵은 결합 확률(누적 확률)이 임계값 p를 막 초과하는 가장 가능성 높은 다음 토큰들을 포함합니다. 이 동적으로 크기가 조정되는 그룹에서만 샘플링함으로써 모델은 다양한 상황에 적응할 수 있습니다. 모델이 다음 토큰에 대해 확신할 때(예: 한 토큰의 확률이 매우 높을 때) 핵은 작아집니다. 모델이 불확실할 때(확률이 더 고르게 분포될 때) 핵은 더 커져 더 다양한 출력을 허용합니다.
각 단계의 과정은 다음과 같습니다:
- 모델이 가능한 모든 다음 토큰의 확률을 계산합니다.
- 토큰을 확률 내림차순으로 정렬합니다.
- 누적 확률이 사전 정의된 임계값 p를 초과할 때까지 목록의 상단에서 토큰을 선택하여 핵을 형성합니다.
- 핵 내 토큰의 확률은 합이 1이 되도록 다시 조정됩니다. 핵 외부의 모든 토큰은 폐기됩니다(확률 0이 부여됨).
- 최종 다음 토큰은 이 새로운 더 작은 분포에서 무작위로 샘플링됩니다.
공식적으로, 핵 V^(p) ⊆ V는 다음 조건을 만족하는 가장 작은 토큰 집합으로 정의됩니다:
∑_{x ∈ V^(p)} P(x | x_1, …, x_{t-1}) ≥ p
이 공식에서 P(x | x_1, …, x_{t-1})는 앞선 토큰 x_1, …, x_{t-1}이 주어졌을 때 토큰 x의 확률을 나타냅니다.
예시
특정 단계에서 언어 모델의 어휘가 다섯 단어 [the, a, cat, dog, eats]이고 다음과 같은 확률을 생성한다고 가정합니다:
- the: 0.5
- a: 0.2
- cat: 0.1
- dog: 0.1
- eats: 0.1
p = 0.8로 설정하면:
- 토큰은 확률별로 정렬됩니다: [the, a, cat, dog, eats].
- 누적 확률이 계산됩니다:
- the: 0.5
- the + a: 0.5 + 0.2 = 0.7
- the + a + cat: 0.7 + 0.1 = 0.8
- 핵은 누적 확률이 0.8 이상인 가장 작은 집합, 즉 V^(0.8) = {the, a, cat}입니다.
- 이 집합의 확률은 합이 1이 되도록 다시 조정됩니다:
- P(the) = 0.5 / 0.8 = 0.625
- P(a) = 0.2 / 0.8 = 0.25
- P(cat) = 0.1 / 0.8 = 0.125
- 그런 다음 다음 토큰은 이 새로운 분포에서 샘플링되며, dog와 eats는 선택될 확률이 0%입니다.
Top-k 샘플링
Top-k 샘플링은 후보 토큰 풀이 가장 가능성 높은 k개의 토큰으로 제한된다는 점에서 유사한 기법입니다. Top-p의 주요 장점은 적응성입니다. 모델이 다음 토큰에 대해 매우 확신할 때(뾰족한 분포) 핵 V^(p)는 매우 작을 수 있습니다. 모델이 불확실할 때(평평한 분포) 핵은 훨씬 커져 더 다양한 출력을 허용합니다. 반면 top-k는 항상 고정된 수의 토큰에서 샘플링하므로 문맥에 따라 너무 제한적이거나 너무 광범위할 수 있습니다.
응용 분야
Top-p 샘플링은 대규모 언어 모델의 디코딩 전략으로 가장 유명하지만, 확률 모델에서 순차 데이터를 생성하거나 분석하는 다른 과학 분야에도 적용되었습니다.
자연어 생성
원래 분야인 자연어 생성에서 top-p 샘플링은 결정론적 방법보다 더 다양하고 일관된 텍스트를 생성하는 능력으로 평가받습니다. 질문 생성과 같은 작업에서 유용한 것으로 나타났으며, 여기서 샘플 다양성은 질문 응답 모델을 위한 효과적인 훈련 데이터를 만드는 데 중요합니다.
약물 및 단백질 설계
Top-p 샘플링은 계산 생물학에서 특수 언어 모델로부터 새로운 분자 및 단백질 서열을 생성하는 데 사용됩니다. 신약 설계에서 분자 구조로 훈련된 화학 언어 모델은 핵 샘플링을 사용하여 새롭고 유효한 약물 후보의 초점화된 라이브러리를 생성합니다. 마찬가지로 단백질 공학에서 top-p 샘플링은 기능적 단백질을 생성할 가능성을 유지하면서 서열 공간을 탐색하는 데 도움이 됩니다.
지구 물리학
지구 물리학에서 top-p 샘플링은 확률 모델에서 지진 파형 또는 기타 순차 데이터를 생성하는 데 적용되어 지진 시뮬레이션 또는 지하 이미징과 같은 작업을 지원합니다. 핵의 적응적 특성은 복잡한 자연 현상을 모델링하는 데 중요한 생성 데이터의 현실적인 변동성을 허용합니다.
다른 디코딩 전략과의 관계
Top-p 샘플링은 생성 모델에서 사용되는 여러 확률적 디코딩 방법 중 하나입니다. 출력의 무작위성을 추가로 제어하기 위해 온도 스케일링과 자주 결합됩니다. 온도 스케일링은 샘플링 전에 확률 분포의 날카로움을 조정하는 반면, top-p 샘플링은 분포를 토큰 하위 집합으로 잘라냅니다. 이러한 기법은 다양성과 일관성 사이의 균형을 달성하기 위해 함께 사용될 수 있습니다.
탐욕 탐색이나 빔 탐색과 같은 결정론적 방법과 비교할 때, top-p 샘플링은 확률성을 도입하여 반복 루프를 방지하고 더 다양한 출력을 생성할 수 있습니다. 그러나 이러한 무작위성은 때때로 비일관성을 초래할 수 있으며, p의 선택이 중요합니다. 낮은 p 값(예: 0.5)은 출력을 더 집중적이고 결정론적으로 만들고, 높은 p 값(예: 0.95)은 다양성을 증가시키지만 품질을 저하시킬 수 있습니다.
구현 고려 사항
실제로 top-p 샘플링은 대부분의 현대 딥러닝 프레임워크에 구현되어 있으며, OpenAI, Anthropic, Google DeepMind와 같은 대규모 언어 모델 API의 표준 매개변수입니다. 임계값 p는 일반적인 텍스트 생성 작업에서 일반적으로 0.9에서 0.95 사이로 설정되지만, 최적 값은 특정 응용 분야와 창의성과 정확성 사이의 원하는 균형에 따라 달라집니다.
구현의 한 가지 과제는 특히 큰 어휘에서 누적 확률 계산의 효율성을 보장하는 것입니다. 그러나 핵은 일반적으로 작기 때문에 계산 오버헤드는 최소화됩니다. 또한 top-p 샘플링은 RLHF(인간 피드백 기반 강화 학습)와 같은 다른 기법과 결합하여 생성된 텍스트를 인간의 선호도에 맞출 수 있습니다.
한계 및 확장
장점에도 불구하고 top-p 샘플링에는 한계가 있습니다. 임계값 p는 정적이며 문맥에 적응하지 않아 일부 시나리오에서 최적이 아닌 성능을 초래할 수 있습니다. 연구자들은 분포의 엔트로피를 기반으로 한 동적 p 값과 같은 확장을 탐구했지만 아직 널리 채택되지는 않았습니다. 또한 top-p 샘플링은 각 단계에서 로컬 확률만 고려하므로 전역적 일관성을 보장하지 않습니다.
또 다른 한계는 모델의 분포가 몇 개의 토큰에 크게 집중된 경우 top-p 샘플링이 여전히 반복적인 텍스트를 생성할 수 있다는 것입니다. 이러한 경우 top-p를 top-k 또는 온도 조정과 같은 다른 전략과 결합해야 할 수 있습니다. 이러한 과제에도 불구하고 top-p 샘플링은 생성 AI 도구 상자의 기본 도구로 남아 있으며 연구 및 프로덕션 시스템 모두에서 널리 사용됩니다.