La destilación de conocimiento es una técnica en aprendizaje automático para transferir el comportamiento aprendido de un modelo grande y computacionalmente costoso, llamado maestro, a un modelo más pequeño, llamado estudiante, de modo que el estudiante se aproxime al rendimiento del maestro a una fracción del tamaño y del coste. En lugar de entrenar al estudiante solo con etiquetas duras, la destilación lo entrena para que coincida con la distribución de salida del maestro, que contiene información adicional sobre cuán seguro está el maestro en todas las respuestas posibles, no solo en la única correcta.
Historia
La idea central se remonta al trabajo sobre compresión de modelos a principios de los años 2000, pero la formulación moderna fue introducida en 2015 por Geoffrey Hinton, Oriol Vinyals y Jeff Dean en el artículo "Distilling the Knowledge in a Neural Network". Propusieron entrenar al estudiante con las probabilidades de salida suavizadas del maestro, producidas al elevar la "temperatura" de la función softmax, argumentando que estos objetivos suaves exponen similitudes relativas entre clases que las etiquetas duras descartan. La técnica permaneció como un método de compresión de nicho durante la década de 2010, aplicada principalmente a redes neuronales convolucionales para tareas de visión, antes de volverse central en la era de los modelos de lenguaje de gran tamaño.
Método
En la configuración estándar, el estudiante se entrena con una pérdida que combina dos términos: una función de pérdida convencional contra las etiquetas de verdad fundamental, y un término de divergencia, típicamente la divergencia de Kullback-Leibler, entre las distribuciones de salida suavizadas del estudiante y del maestro. El parámetro de temperatura controla cuánto se suavizan los objetivos suaves; temperaturas más altas revelan más de la estructura de incertidumbre del maestro. Las variantes extienden la idea más allá de la coincidencia de salidas: la destilación basada en características alinea las activaciones de capas intermedias, y la destilación relacional hace coincidir cómo el maestro representa las relaciones entre ejemplos. La destilación es distinta del ajuste fino y de LoRA, que adaptan los pesos del propio modelo existente en lugar de entrenar una red separada y más pequeña a partir de la señal de un maestro, aunque las técnicas a menudo se combinan en la práctica.
Aplicaciones
La destilación adquirió importancia comercial con la compresión de la familia BERT, sobre todo DistilBERT (2019), que retuvo alrededor del 97% del rendimiento de comprensión del lenguaje de BERT con un 40% menos de parámetros y una inferencia aproximadamente un 60% más rápida, lo que la hizo práctica para IA en el borde y despliegues sensibles a la latencia. La técnica ganó renovada atención en 2025 después de que DeepSeek-R1 publicara una familia de modelos de peso abierto más pequeños destilados a partir de sus propios rastros de razonamiento, mostrando que la destilación podía transferir la capacidad de razonamiento paso a paso, no solo la precisión de clasificación, a modelos compactos que se ejecutaban en hardware modesto. Los principales laboratorios también usan la destilación internamente para producir variantes más baratas y rápidas de sus modelos insignia para inferencia de alto volumen, y para comprimir conjuntos de modelos en una única red desplegable.
Limitaciones y críticas
Los estudiantes destilados generalmente rinden menos que sus maestros en los ejemplos más difíciles y pueden heredar o amplificar los sesgos y puntos ciegos del maestro, ya que están optimizados para imitar al maestro en lugar de modelar de forma independiente la tarea subyacente. Hay un debate en curso sobre cuánta capacidad de un modelo puede sobrevivir a la destilación frente a cuánto depende de la escala en sí; alguna evidencia sugiere que ciertas habilidades emergentes se degradan de manera desproporcionada en modelos destilados más pequeños incluso cuando las puntuaciones de referencia parecen similares. La destilación también se ha vuelto comercialmente polémica: varios laboratorios de IA han acusado a competidores de destilar modelos propietarios entrenando con sus salidas a gran escala, una práctica que viola los términos de servicio de la mayoría de los proveedores pero que es difícil de detectar o probar, y se convirtió en un punto de inflexión en la cobertura del shock de DeepSeek de enero de 2025.