大規模言語モデルの文脈において、温度は生成テキストのランダム性を制御するハイパーパラメータである。これはデコード段階で、モデルが次の可能なトークンに対する確率分布を計算した後、最終的なトークンが選択される前に適用される。ロジット（生の非正規化スコア）をソフトマックス関数に通す前にスケーリングすることで、温度は確率分布を再形成し、より尖った（決定的な）分布またはより平坦な（多様な）分布にする。このパラメータは通常、正の浮動小数点数であり、デフォルト値の1.0はモデルの本来の分布を表す。1.0未満の値は分布を尖らせ、高確率のトークンを優先し、1.0を超える値は分布を平坦化し、低確率のトークンが選択される可能性を高める。温度は生成AIシステムにおける中核的な制御であり、OpenAI、Anthropic、Google DeepMindなどのプロバイダーのAPIで、創造的出力と事実的出力のバランスを調整するために広く使用されている。
温度は他のサンプリング戦略とは概念的に異なるが、しばしばそれらと組み合わせられる。top-kサンプリングが候補プールを最も可能性の高いk個のトークンに制限し、top-pサンプリング（核サンプリングとも呼ばれる）が累積確率が閾値を超える最小の集合から選択する一方で、温度はトランケーションが発生する前に分布全体を修正する。実際には、開発者は創造性と一貫性のバランスを取るために、温度をtop-pと一緒に設定することが多い。例えば、要約などの事実的タスクでは低い温度（例：0.2）と中程度のtop-p（例：0.9）が一般的であり、創造的執筆やブレインストーミングでは高い温度（例：0.8）とより高いtop-p（例：0.95）が使用される。
数学的定式化
温度の効果は、ロジットに対するスケーリング操作によって定義される。語彙内の各トークン\( i \)に対するモデルのロジット\( z_i \)が与えられたとき、温度スケーリングされた確率\( p_i \)は次のように計算される：
\[ p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} \]
ここで\( T \)は温度値である。\( T = 1 \)のとき、この式は標準的なソフトマックスに還元される。\( T \)が0に近づくにつれて、分布は最も高いロジットを持つトークン上の点質量に収束し、モデルを事実上貪欲かつ決定的にする。\( T \)が無限大に向かって増加すると、分布は全トークン上の一様分布に近づき、最大限にランダムな出力をもたらす。実際には、極端な値は無意味な出力を生むため、温度が2.0を超えて設定されることは稀であり、0.1未満の値は貪欲デコードと同等に扱われることが多い。スケーリングはあらゆるサンプリング手法の前に適用されるため、最終的な選択は修正された分布からの確率的サンプリングを依然として使用できる。
歴史的起源
確率モデルにおける温度の概念は、現代の深層学習より前から存在する。これは統計物理学で導入され、温度がボルツマン分布の尖り具合を制御する。機械学習では、温度スケーリングはニューラルネットワークの信頼度スコアを校正する文脈で普及し、特にChuan Guoらによる2017年の論文「On Calibration of Modern Neural Networks」で、不確実性推定を改善するためにロジットを再スケーリングする単一の温度パラメータが使用された。このアイデアはすぐに系列生成、特に系列対系列モデルとトランスフォーマーで採用され、出力の変動性を制御する実用的なつまみとなった。TensorFlowやPyTorchなどの機械学習ライブラリでの早期採用により、温度はサンプリング関数の標準的な引数となり、多くのAIテキスト生成インターフェースのデフォルトパラメータとなった。
言語モデル推論における役割
推論中、言語モデルは出力系列の各位置に対して語彙全体の確率分布を生成する。温度がない場合、モデルは常に最も可能性の高いトークンを選択し、反復的でしばしば退屈なテキストにつながる。温度は確率性を導入し、対話、物語生成、または複数の有効な続きが存在するコード補完など、多様性を必要とするタスクに不可欠である。深層学習フレームワークでは、温度はデコードステップで適用され、トレーニング中には適用されない。つまり、モデルの学習済み重みには影響しない。これにより、温度は軽量で実行時のみの調整となり、再トレーニングなしでリクエストごとに変更できる。
例えば、OpenAI APIでは、temperatureパラメータは0から2の値を受け入れ、デフォルトは1.0である。値0はモデルを決定的にし、常に最高確率のトークンを選択する一方、より高い値は多様性を増加させる。同様に、AnthropicのClaudeモデルはAPIで温度を公開し、Google DeepMindのGeminiモデルは生成パラメータとしてそれを含む。これらのプロバイダーはまた、温度がtop-pやtop-kなどの他のサンプリングパラメータと相互作用し、単独ではなく一緒に調整することを推奨していると文書化している。
他のサンプリング手法との関係
温度は、出力分布を形成するために使用されるいくつかの手法の1つである。Top-kサンプリングは次のトークンを最も可能性の高いk個のオプションに制限し、高い温度でも非常に低い確率のトークンが選択されるのを防ぐ。Top-pサンプリングは累積確率が閾値pを超える最小のトークン集合を動的に選択し、固定のkよりも適応的なトランケーションを提供する。温度はこれらのトランケーション手法とは直交する：温度は分布の形状を変え、top-kとtop-pはサポートを変える。実際には、これらはしばしば一緒に使用される。例えば、創造的タスクの一般的なレシピは温度0.7とtop-p 0.9であり、コード生成ではエラーを最小化するために温度0.2とtop-p 0.1が典型的である。
もう1つの関連概念は、モデル校正の文脈における温度スケーリングであり、検証セットで単一の温度を学習して信頼度推定を改善する。これは生成時に使用されるサンプリング温度とは異なるが、両者は同じ数学的操作を共有する。校正温度は通常1.0に近く、トレーニング後に固定される一方、サンプリング温度はユーザー制御のハイパーパラメータである。
実用的なガイドラインとトレードオフ
適切な温度の選択はアプリケーションに依存する。質問応答、要約、データ抽出などの事実的正確性を必要とするタスクでは、幻覚を減らし一貫した出力を生成するために、低い温度（0.1から0.3）が推奨される。創造的執筆、ブレインストーミング、または複数の候補解の生成では、より高い温度（0.7から1.0）が新規性と変動性を促進する。極端に高い温度（1.5以上）は、モデルが文法構造と意味的一貫性を失うため、しばしば無意味なテキストにつながる。開発者はまた、温度が再現性に影響することを考慮する必要がある：温度を0に設定すると決定的な出力が得られ、テストやデバッグに有用であるが、より高い温度での確率的サンプリングは、同じプロンプトが実行ごとに異なる結果を生む可能性があり、安定した出力を必要とする本番システムでは望ましくない場合がある。
温度はまた、モデルのトレーニング分布と相互作用する。多様なデータでトレーニングされたモデルは、狭いドメインでトレーニングされたモデルよりも高い温度に耐える可能性がある。例えば、法的文書で微調整されたモデルは温度1.0で無意味なテキストを生成するかもしれないが、汎用モデルはそれを優雅に処理する。2020年代初頭の時点で、主要な言語モデルプロバイダーのほとんどが温度を標準的なAPIパラメータとして採用しており、Hugging FaceのTransformersなどのオープンソースライブラリでも実装され、generate()などの生成関数に渡される。
ソフトウェアでの実装
実際には、温度は言語モデルのデコードループで実装される。モデルのフォワードパスがロジットを生成した後、コードはそれらを温度値で除算し、ソフトマックスを適用し、結果の分布からサンプリングする。多くのフレームワークはまた、do_sampleフラグをサポートしており、Trueに設定すると温度による確率的サンプリングが有効になり、Falseの場合、モデルは温度に関係なく貪欲デコードを使用する。例えば、Hugging Face Transformersライブラリでは、temperature引数はdo_sample=Trueの場合にのみ使用される。この設計により、開発者は決定的モードと確率的モードを簡単に切り替えられる。
AWS TrainiumやGroqなどのハードウェアアクセラレータは最適化された推論パスを提供することが多いが、温度スケーリングは単純な算術演算であり、無視できるほどのオーバーヘッドを追加する。主な計算コストはサンプリングステップではなく、モデルのフォワードパスのままである。その結果、温度は大きなレイテンシ影響なしにその場で調整でき、インタラクティブなアプリケーションにとって実用的なツールとなる。
制限と批判
温度は出力品質を制御するための鈍い道具である。それは一貫性や事実的正確性を保証せず、確率分布を変更するだけである。高い温度は創造的だが誤ったステートメントを生成する可能性があり、低い温度は反復的または過度に保守的なテキストを生成する可能性がある。研究者は、温度がビームサーチや制約付きデコードなどのより優れたデコード戦略の代わりにはならないと指摘している。これらは構造的制約を強制する。さらに、温度は全トークンに均一に適用されるグローバルパラメータであるが、一部の文脈では異なるレベルのランダム性が必要な場合がある。例えば、コード構文では決定的であるがコメントでは創造的であるなど。2020年代半ばの時点で、対照的検索や動的温度調整などのより高度な手法が提案されているが、商業APIのデフォルト制御として温度を置き換えたものはない。
将来の方向性
トークンの予測不確実性やタスクに基づいて値を調整する適応的温度スキームに関する研究が続いている。一部の研究では、トレーニング中に温度スケジュールを学習することが探求されているが、これはまだ標準的ではない。生成AIのより広い分野では、温度は主要なユーザー向けパラメータのままであり、その単純さは強みでもあり弱みでもある。モデルがより大きく、より能力が高くなるにつれて、より細かい制御の必要性が新しいパラメータにつながるかもしれないが、温度は言語モデル推論の基本的な概念として存続する可能性が高い。