온도 스케일링은 머신러닝과 딥러닝에서 신경망에 소프트맥스 함수를 적용하기 전에 로짓(원시 출력 점수)을 수정하는 기본적인 기법입니다. 로짓을 온도 매개변수 T로 나누면 결과 확률 분포는 T < 1일 때 더 날카로워지고(선명해지고), T > 1일 때 더 평평해집니다(부드러워집니다). 이러한 조정은 생성 모델의 샘플링 무작위성에 직접적인 영향을 미치므로, 생성형 AI 시스템, 특히 대규모 언어 모델에서 중요한 제어 수단이 됩니다.
이 개념은 입자 시스템의 무작위성을 제어하는 온도의 통계 역학에서 유래했으며, 2010년대 초에 신경망에 적용되었습니다. 실제로 온도 스케일링은 주로 추론 중에 적용되며(훈련 중에는 아님), 보정 기법으로도 사용되지만, 주된 용도는 결정적이고 확신에 찬 출력과 다양하고 탐색적인 출력 사이의 균형을 맞추는 것입니다.
메커니즘 및 수학적 공식화
신경망에서 마지막 계층은 각 클래스 또는 토큰에 대한 로짓 z_i를 생성합니다. 소프트맥스 함수는 이를 확률로 변환합니다: p_i = exp(z_i / T) / sum_j exp(z_j / T). 여기서 온도 T는 양의 스칼라입니다. T = 1이면 소프트맥스는 변경되지 않습니다. T < 1이면 로짓이 증폭되어 분포가 더 뾰족해지고, 모델은 더 확신에 차며 결정적으로 변합니다. T > 1이면 로짓이 감쇠되어 분포가 평평해지고 무작위성이 증가합니다.
예를 들어, 트랜스포머 기반 언어 모델에서 온도 0.1은 동일한 프롬프트에 대해 거의 동일한 출력을 생성하는 반면, 온도 1.5는 더 다양하고 때로는 예상치 못한 응답을 생성합니다. 온도 선택은 작업에 따라 달라지며, 사실 기반 질의응답에는 낮은 온도가, 창의적 글쓰기나 브레인스토밍에는 높은 온도가 적합합니다.
대규모 언어 모델에서의 역할
대규모 언어 모델에서 온도 스케일링은 표준 샘플링 매개변수로, OpenAI, Anthropic, Google DeepMind와 같은 주요 업체들이 API 인터페이스에 포함하고 있습니다. 예를 들어, OpenAI의 GPT API는 0에서 2 사이의 온도 값을 지원하며, 기본값은 0.7입니다. Anthropic의 Claude 모델도 유사한 온도 조정을 지원하며, Google의 Gemini 모델도 온도 제어 기능을 제공합니다.
이 기법은 토큰 생성 단계에서 적용됩니다. 모델이 다음 토큰에 대한 로짓을 생성한 후, 온도가 적용되고, 이후 top-k 또는 nucleus sampling과 같은 샘플링 방법이 토큰을 선택합니다. 온도는 이러한 샘플링 전략과 상호 작용하여, 높은 온도와 top-p 샘플링을 결합하면 다양하면서도 일관성 있는 텍스트를 생성할 수 있습니다.
모델 보정과의 관계
온도 스케일링은 잘 알려진 보정 기법이기도 합니다. 분류 작업에서 모델의 예측 확률은 종종 과도한 확신을 보입니다. 검증 세트에서 단일 온도 매개변수를 학습하면(교차 엔트로피 손실 사용) 확률을 실제 정확도에 더 잘 맞게 재보정할 수 있습니다. 이 용법은 Guo et al. (2017)의 논문 "On Calibration of Modern Neural Networks"에서 대중화되었습니다. 그러나 생성 맥락에서는 온도가 학습보다는 경험적으로 설정되는 경우가 일반적입니다.
실용적 지침 및 기본값
실무자들은 원하는 출력 특성에 따라 온도를 조정합니다. 코드 생성이나 수학 문제 해결과 같은 작업에는 낮은 온도(0.1-0.3)가 오류를 줄이는 데 효과적입니다. 대화나 창의적 글쓰기에는 0.7-1.0의 온도가 일반적입니다. 일부 시스템은 생성 과정 중 온도를 동적으로 변경하는 동적 온도 스케줄링을 사용하기도 합니다(예: 초반에는 다양성을 위해 높게, 후반에는 일관성을 위해 낮게).
연구에 따르면 최적의 온도는 모델 크기와 훈련 데이터에 따라 달라집니다. 예를 들어, 작은 모델은 반복적인 출력을 피하기 위해 더 높은 온도가 필요할 수 있으며, 큰 모델은 과도한 결정성 없이도 낮은 온도를 처리할 수 있습니다.
한계 및 대안
온도 스케일링에는 한계가 있습니다. 모델의 근본적인 지식이나 추론 능력을 변경하지 않으며, 단지 샘플링 무작위성에만 영향을 미칩니다. 지나치게 높은 온도는 횡설수설이나 환각을 유발할 수 있고, 지나치게 낮은 온도는 반복적이고 지루한 출력을 초래할 수 있습니다. 대안으로는 top-k 샘플링, nucleus(top-p) 샘플링, min-p 샘플링 등이 있으며, 이들은 분포를 재형성하는 대신 확률 분포를 잘라냅니다. 이러한 방법들은 종종 온도와 함께 사용됩니다.
또 다른 한계는 온도가 모든 토큰에 균일하게 적용되는 전역 매개변수라는 점입니다. 일부 최근 접근법(예: 대비 디코딩, typical sampling)은 더 세밀한 제어를 제공하지만 널리 채택되지는 않았습니다.
역사적 맥락 및 채택
신경망에서 온도 사용은 1980년대 볼츠만 머신에서 입자 활성화의 확률성을 제어하던 데서 시작되었습니다. 현대 딥러닝에서는 Hinton et al.의 2015년 논문 "Distilling the Knowledge in a Neural Network"에서 지식 증류에 온도를 사용하면서 대중화되었습니다. 이후 TensorFlow, PyTorch, JAX를 포함한 모든 주요 AI 프레임워크에서 표준 도구가 되었습니다.
인공지능 산업에서는 온도 스케일링이 클라우드 플랫폼의 추론 엔진에 구현되어 있습니다. 예를 들어, Amazon Web Services Bedrock, Azure OpenAI Service, Google Cloud Vertex AI는 모두 온도를 매개변수로 노출합니다. 하드웨어 공급업체인 NVIDIA와 AMD는 온도 스케일링 자체가 계산적으로 간단함에도 불구하고, 관련 추론 워크로드를 효율적으로 처리하도록 칩을 최적화합니다.
향후 방향
생성형 AI가 발전함에 따라 온도 스케일링은 여전히 단순하면서도 강력한 도구로 남아 있습니다. 연구자들은 토큰 수준의 불확실성이나 작업 난이도에 따라 조정되는 적응형 온도 방법을 탐구하고 있습니다. AI21 Labs와 Inflection AI와 같은 일부 모델 제공업체는 인터페이스에 온도 유사 제어 기능을 통합하고 있습니다. 이 기법은 인간 피드백 기반 강화 학습(RLHF)에서도 관련이 있으며, 훈련 중 탐색-활용 균형에 영향을 미칩니다.
요약하면, 온도 스케일링은 현대 AI에서 생성 콘텐츠의 창의성과 결정성을 세밀하게 제어할 수 있는 다재다능하고 필수적인 기법이며, 연구 및 프로덕션 시스템 전반에서 지속적으로 사용되고 있습니다.