知識蒸留は、Machine learningにおける手法であり、教師と呼ばれる大規模で計算コストの高いモデルの学習済みの振る舞いを、生徒と呼ばれるより小さなモデルへ転移させることで、生徒が教師の性能をはるかに小さなサイズとコストで近似できるようにするものである。蒸留では、生徒をハードラベルのみで訓練するのではなく、教師の出力分布に一致するように訓練する。この出力分布には、単一の正解だけでなく、すべての可能な答えに対する教師の確信度に関する追加情報が含まれている。
歴史
この核となるアイデアは2000年代初頭のモデル圧縮に関する研究に遡るが、現代的な定式化は2015年にGeoffrey Hinton、Oriol Vinyals、Jeff Deanによって論文「Distilling the Knowledge in a Neural Network」で導入された。彼らは、softmax関数の「温度」を上げることで生成される教師の軟化された出力確率に基づいて生徒を訓練することを提案し、これらのソフトターゲットがハードラベルでは捨てられるクラス間の相対的な類似性を明らかにすると論じた。この手法は2010年代を通じて主に視覚タスクのConvolutional neural networkに適用されるニッチな圧縮手法に留まっていたが、その後Large language model時代の中心的な手法となった。
手法
標準的な設定では、生徒は2つの項を組み合わせた損失で訓練される。1つは正解ラベルに対する従来のLoss function、もう1つは生徒と教師の軟化された出力分布の間の発散項（典型的にはKullback-Leibler発散）である。温度パラメータはソフトターゲットがどの程度平滑化されるかを制御し、より高い温度は教師の不確実性構造をより多く明らかにする。変種は出力マッチングを超えて拡張されている。特徴ベースの蒸留は中間層の活性化を整列させ、関係蒸留は教師が例間の関係をどのように表現するかを一致させる。蒸留はFine-tuningやLoRAとは異なる。これらは既存のモデル自身の重みを適応させるものであり、教師の信号から別の小さなネットワークを訓練するものではないが、実際にはこれらの手法はしばしば組み合わせて使用される。
応用
蒸留はBERTファミリーの圧縮、特にDistilBERT（2019年）で商業的に重要になった。DistilBERTはBERTの言語理解性能の約97%を維持しつつ、パラメータ数を40%削減し、推論速度を約60%高速化し、Edge AIやレイテンシに敏感な展開に実用的なものとした。この手法は2025年にDeepSeek-R1が自身の推論トレースから蒸留した小型のオープンウェイトモデル群をリリースしたことで再び注目を集めた。これは蒸留が分類精度だけでなく、ステップバイステップの推論能力を、手頃なハードウェアで動作するコンパクトなモデルに転移できることを示した。主要な研究所はまた、高負荷のInference (AI)向けに主力モデルのより安価で高速な変種を生成したり、アンサンブルを単一の展開可能なネットワークに圧縮するために、蒸留を内部的に使用している。
限界と批判
蒸留された生徒は一般的に最も難しい例では教師よりも性能が劣り、教師のバイアスや盲点を継承または増幅する可能性がある。なぜなら、それらはタスクを独立にモデル化するのではなく、教師を模倣するように最適化されているからである。モデルの能力のうちどれだけが蒸留で生き残るのか、あるいはどれだけがスケール自体に依存するのかについては議論が続いている。いくつかの証拠は、特定のEmergent abilitiesが、ベンチマークスコアが類似しているように見えても、より小さな蒸留モデルで不釣り合いに劣化することを示唆している。蒸留はまた商業的に論争の的となっている。いくつかのAI研究所は、競合他社が自社のプロプライエタリモデルの出力を大規模に訓練することで蒸留していると非難している。この行為はほとんどのプロバイダーの利用規約に違反するが、検出や証明は困難であり、2025年1月のDeepSeek market shockの報道で焦点となった。