Knowledge distillation ist eine Technik im maschinellen Lernen zur Übertragung des gelernten Verhaltens eines großen, rechenintensiven Modells, des sogenannten Lehrers, auf ein kleineres Modell, den Schüler, sodass der Schüler die Leistung des Lehrers bei einem Bruchteil der Größe und Kosten annähert. Anstatt den Schüler nur mit harten Labels zu trainieren, trainiert die Destillation ihn darauf, die Ausgabeverteilung des Lehrers zu matchen, die zusätzliche Informationen darüber enthält, wie sicher der Lehrer über alle möglichen Antworten ist, nicht nur über die einzelne korrekte.
Geschichte
Die Kernidee geht auf Arbeiten zur Modellkompression in den frühen 2000er-Jahren zurück, aber die moderne Formulierung wurde 2015 von Geoffrey Hinton, Oriol Vinyals und Jeff Dean in dem Paper „Distilling the Knowledge in a Neural Network" eingeführt. Sie schlugen vor, den Schüler auf den abgeschwächten Ausgabewahrscheinlichkeiten des Lehrers zu trainieren, die durch Erhöhung der „Temperatur" der Softmax-Funktion erzeugt werden, und argumentierten, dass diese weichen Ziele relative Ähnlichkeiten zwischen Klassen offenlegen, die harte Labels verwerfen. Die Technik blieb in den 2010er-Jahren eine Nischenmethode zur Kompression, die hauptsächlich auf Convolutional Neural Networks für Bildverarbeitungsaufgaben angewendet wurde, bevor sie im Zeitalter der Large Language Models zentral wurde.
Methode
Im Standardaufbau wird der Schüler mit einem Verlust trainiert, der zwei Terme kombiniert: eine konventionelle Verlustfunktion gegen die Ground-Truth-Labels und einen Divergenzterm, typischerweise die Kullback-Leibler-Divergenz, zwischen den abgeschwächten Ausgabeverteilungen von Schüler und Lehrer. Der Temperaturparameter steuert, wie stark die weichen Ziele geglättet werden; höhere Temperaturen offenbaren mehr von der Unsicherheitsstruktur des Lehrers. Varianten erweitern die Idee über das Ausgaben-Matching hinaus: Feature-basierte Destillation gleicht Aktivierungen mittlerer Schichten ab, und relationale Destillation matcht, wie der Lehrer Beziehungen zwischen Beispielen repräsentiert. Destillation unterscheidet sich von Fine-Tuning und LoRA, die die eigenen Gewichte eines bestehenden Modells anpassen, anstatt ein separates, kleineres Netzwerk aus dem Signal eines Lehrers zu trainieren, obwohl die Techniken in der Praxis oft kombiniert werden.
Anwendungen
Destillation wurde kommerziell bedeutsam mit der Kompression der BERT-Familie, insbesondere DistilBERT (2019), das etwa 97 % der Sprachverständnisleistung von BERT mit 40 % weniger Parametern und etwa 60 % schnellerer Inferenz beibehielt, was es praktisch für Edge-KI und latenzempfindliche Bereitstellung machte. Die Technik erlangte 2025 erneute Aufmerksamkeit, nachdem DeepSeek-R1 eine Familie kleinerer Open-Weight-Modelle veröffentlichte, die aus seinen eigenen Reasoning-Traces destilliert wurden, und zeigte, dass Destillation schrittweise Reasoning-Fähigkeiten übertragen kann, nicht nur Klassifikationsgenauigkeit, in kompakte Modelle, die auf bescheidener Hardware liefen. Große Labore nutzen Destillation auch intern, um günstigere, schnellere Varianten von Flaggschiffmodellen für Inferenz mit hohem Volumen zu produzieren und Ensembles in einzelne einsetzbare Netzwerke zu komprimieren.
Einschränkungen und Kritik
Destillierte Schüler schneiden bei den schwierigsten Beispielen im Allgemeinen schlechter ab als ihre Lehrer und können die Verzerrungen und blinden Flecken des Lehrers erben oder verstärken, da sie optimiert sind, den Lehrer nachzuahmen, anstatt die zugrunde liegende Aufgabe unabhängig zu modellieren. Es gibt eine laufende Debatte darüber, wie viel von der Fähigkeit eines Modells die Destillation überleben kann, im Vergleich dazu, wie viel von der Skalierung selbst abhängt; einige Belege deuten darauf hin, dass bestimmte emergente Fähigkeiten in kleineren destillierten Modellen überproportional abnehmen, selbst wenn die Benchmark-Werte ähnlich aussehen. Destillation ist auch kommerziell umstritten geworden: Mehrere KI-Labore haben Konkurrenten beschuldigt, proprietäre Modelle zu destillieren, indem sie in großem Umfang auf deren Ausgaben trainieren, eine Praxis, die gegen die Nutzungsbedingungen der meisten Anbieter verstößt, aber schwer zu erkennen oder zu beweisen ist, und wurde zu einem Brennpunkt in der Berichterstattung über den DeepSeek-Schock im Januar 2025.