サンプリング温度は、確率モデルからテキストやその他のコンテンツを生成する際に使用されるパラメータで、値を引き出す前にモデルが次のトークンをサンプリングする確率分布を再スケーリングすることで、出力のランダム性または決定性を制御します。これは、大規模言語モデルや他の自己回帰モデルのAPIやインターフェースで最も一般的に公開される設定の1つです。
仕組み
自己回帰言語モデルは、各ステップで、通常はモデルの生の出力スコア（ロジット）に対するソフトマックス関数で計算される、可能な次のトークンに対する確率分布を生成します。このプロセスは、モデルの重みがトレーニングによって固定された後の推論時に行われます。温度は、ソフトマックスステップの前に、それらのロジットを温度値で割ることによって適用されます。温度1.0は、モデルが計算した分布を変更しません。温度が1.0未満の場合、分布が鋭くなり、最も可能性の高いトークンが選択される可能性がさらに高まり、低確率のトークンが出現する可能性が減少します。温度が0に近づくと、常に単一の最高確率トークンを選択することに近似し、これは貪欲復号と呼ばれることもあります。温度が1.0を超えると分布が平坦になり、低確率のトークンが比較的選択される可能性が高くなり、出力の多様性と予測不可能性が増加しますが、幻覚の可能性も増加します。これは、可能性は低いが不正確なトークンがサンプリングされる可能性が高くなるためです。
他のサンプリング制御との関係
温度は通常、単独で使用されるのではなく、他の復号制御と組み合わせられます。Top-pサンプリング（核サンプリングとも呼ばれる）は、累積確率がしきい値pを超える最小のトークンセットから選択するようにモデルを制限し、温度を高く設定しても、極端に可能性の低いトークンが偶発的に選択されるのを防ぎます。Top-kサンプリングも同様に、最も可能性の高い固定数のトークンにサンプリングを制限します。これらの設定は相互作用します。高い温度と緩いtop-pまたはtop-k制限を組み合わせると、一貫性のないテキストが生成される可能性があります。一方、温度がゼロまたはそれに近い値で、厳しい制限と組み合わせると、非常に反復的で決定論的な出力が生成され、これはコード生成やデータ抽出など、単一の一貫した回答が創造的なバリエーションよりも優先されるタスクでは望ましい場合があります。
実用的な使用法
低いまたはゼロの温度設定は、一貫性と正確性が有益なタスク（事実に基づく質問応答、構造化データ抽出、数学的計算、コード生成など）で一般的に使用されます。これらのタスクでは、言い回しのバリエーションは価値がなく、エラーを導入する可能性があります。長い中間推論チェーンを生成する推論モデルは、そのプロセスを安定させるために低い温度で実行されることがよくあります。高い温度設定は、多様性が有益なタスク（ブレインストーミング、創造的執筆、チャットボットやゲームキャラクターの対話、およびテキストから画像生成の一部のアプリケーションなど）で使用されます。同じ入力から複数の異なる出力が有用な場合です。温度は予測可能性と多様性を直接トレードオフするため、プロンプトエンジニアリングのガイダンスで頻繁に取り上げられるテーマであり、評価スイートやベンチマークは通常、実行間で結果を再現可能にするために温度をゼロまたはそれに近い値に固定します。温度はモデルの基礎となる知識や推論能力には影響しません。トレーニングによってすでに妥当とされた出力の中からモデルがどのように選択するかを変更するだけであり、そのため温度を上げると、より多様な回答が得られますが、より正確な回答が得られるわけではありません。