샘플링 온도는 확률적 모델에서 텍스트나 기타 콘텐츠를 생성할 때 사용되는 매개변수로, 모델이 다음 토큰을 샘플링할 확률 분포를 값을 추출하기 전에 재조정하여 출력의 무작위성 또는 결정론적 성격을 제어합니다. 이는 대규모 언어 모델 및 기타 자기회귀 모델의 API와 인터페이스에서 가장 흔히 노출되는 설정 중 하나입니다.
작동 방식
자기회귀 언어 모델은 각 단계에서 가능한 다음 토큰에 대한 확률 분포를 생성하며, 일반적으로 모델의 원시 출력 점수 또는 로짓에 소프트맥스 함수를 적용하여 계산합니다. 이 과정은 모델의 가중치가 훈련으로 고정된 후 추론 시점에 발생합니다. 온도는 소프트맥스 단계 전에 해당 로짓을 온도 값으로 나누어 적용됩니다. 온도 1.0은 모델이 계산한 분포를 변경하지 않습니다. 1.0 미만의 온도는 분포를 날카롭게 하여 가장 가능성 높은 토큰이 선택될 확률을 더 높이고 낮은 확률의 토큰이 나타날 가능성을 줄이며, 0에 가까운 온도는 때때로 탐욕 디코딩이라고 불리는 단일 최고 확률 토큰을 항상 선택하는 것에 근접합니다. 1.0 이상의 온도는 분포를 평평하게 하여 낮은 확률의 토큰이 비교적 더 선택될 기회를 주어 출력의 다양성과 예측 불가능성을 증가시키지만, 덜 가능성 있지만 부정확한 토큰이 샘플링될 가능성이 높아져 환각의 위험도 증가시킬 수 있습니다.
다른 샘플링 제어와의 관계
온도는 일반적으로 단독으로 사용되지 않고 다른 디코딩 제어와 결합됩니다. 핵 샘플링이라고도 하는 Top-p 샘플링은 누적 확률이 임계값 p를 초과하는 가장 작은 토큰 집합에서만 선택하도록 모델을 제한하여, 온도를 높여도 극히 가능성 낮은 토큰이 가끔 선택되는 것을 방지합니다. Top-k 샘플링은 유사하게 가장 가능성 높은 토큰의 고정된 수로 샘플링을 제한합니다. 이러한 설정은 상호 작용합니다. 높은 온도와 느슨한 top-p 또는 top-k 제한을 결합하면 일관성이 없는 텍스트가 생성될 수 있으며, 0에 가까운 온도와 엄격한 제한을 결합하면 매우 반복적이고 결정론적인 출력이 생성되는데, 이는 코드 생성이나 데이터 추출과 같이 단일하고 일관된 답변이 창의적 변형보다 선호되는 작업에서 때때로 바람직합니다.
실용적 사용
낮거나 0의 온도 설정은 일반적으로 사실 기반 질문 응답, 구조화된 데이터 추출, 수학 계산, 코드 생성과 같이 일관성과 정확성이 유익한 작업에 사용되며, 여기서 표현의 변형은 가치가 없고 오류를 도입할 수 있습니다. 긴 중간 추론 체인을 생성하는 추론 모델은 종종 낮은 온도로 실행되어 해당 과정을 안정적으로 유지합니다. 더 높은 온도 설정은 브레인스토밍, 창의적 글쓰기, 챗봇 또는 게임 캐릭터의 대화, 그리고 동일한 입력에서 여러 개의 뚜렷한 출력이 유용할 수 있는 일부 텍스트-이미지 생성 응용과 같은 다양성이 유익한 작업에 사용됩니다. 온도는 예측 가능성과 다양성을 직접적으로 맞바꾸기 때문에 프롬프트 엔지니어링 지침에서 자주 다루는 주제이며, 평가 스위트와 벤치마크는 일반적으로 실행 간 결과를 재현 가능하게 만들기 위해 온도를 0에 가깝게 고정합니다. 온도는 모델의 기본 지식이나 추론 능력에 영향을 미치지 않으며, 훈련에서 이미 그럴듯하게 만든 출력 중에서 모델이 선택하는 방식만 변경하므로, 온도를 높이면 더 다양하지만 더 정확하지 않은 답변이 생성될 수 있습니다.