지식 증류는 기계 학습에서 크고 계산 비용이 많이 드는 모델(교사)의 학습된 동작을 더 작은 모델(학생)로 전이하여, 학생이 크기와 비용의 일부로 교사의 성능에 근접하게 만드는 기법이다. 증류는 학생을 하드 레이블에 대해서만 훈련하는 대신, 교사의 출력 분포를 일치시키도록 훈련하는데, 이 분포는 단일 정답뿐만 아니라 모든 가능한 답변에 대한 교사의 확신 정도에 대한 추가 정보를 담고 있다.
역사
핵심 아이디어는 2000년대 초반 모델 압축 연구로 거슬러 올라가지만, 현대적 정식화는 2015년 제프리 힌튼, 오리올 비니알스, 제프 딘이 논문 "Distilling the Knowledge in a Neural Network"에서 도입했다. 그들은 소프트맥스 함수의 "온도"를 높여 생성된 교사의 부드러워진 출력 확률로 학생을 훈련할 것을 제안했으며, 이러한 소프트 타깃이 하드 레이블이 버리는 클래스 간 상대적 유사성을 드러낸다고 주장했다. 이 기법은 2010년대 내내 주로 합성곱 신경망 기반 시각 작업에 적용되는 틈새 압축 방법으로 남아 있다가, 대규모 언어 모델 시대의 핵심이 되었다.
방법
표준 설정에서 학생은 두 항목을 결합한 손실로 훈련된다: 실제 정답 레이블에 대한 기존의 손실 함수와, 학생과 교사의 부드러워진 출력 분포 사이의 발산 항(일반적으로 쿨백-라이블러 발산)이다. 온도 매개변수는 소프트 타깃이 얼마나 평활화되는지를 제어하며, 온도가 높을수록 교사의 불확실성 구조가 더 많이 드러난다. 변형은 출력 일치를 넘어 확장된다: 특징 기반 증류는 중간 계층 활성화를 정렬하고, 관계 기반 증류는 교사가 예제 간 관계를 표현하는 방식을 일치시킨다. 증류는 미세 조정 및 로라와 구별되는데, 이들은 별도의 더 작은 네트워크를 교사 신호로 훈련하는 대신 기존 모델의 자체 가중치를 적응시키지만, 실제로는 기법들이 종종 결합된다.
응용
증류는 BERT 계열 압축, 특히 DistilBERT(2019)와 함께 상업적으로 중요해졌으며, 이는 BERT의 언어 이해 성능의 약 97%를 유지하면서 매개변수를 40% 줄이고 추론 속도를 약 60% 향상시켜 엣지 AI 및 지연 시간에 민감한 배포에 실용적이게 했다. 이 기법은 2025년 딥시크 R1이 자체 추론 흔적에서 증류된 더 작은 오픈 가중치 모델 제품군을 출시하면서 다시 주목받았는데, 이는 증류가 분류 정확도뿐만 아니라 단계별 추론 능력을 보급형 하드웨어에서 실행되는 컴팩트 모델로 전이할 수 있음을 보여주었다. 주요 연구소는 또한 플래그십 모델의 저렴하고 빠른 변형을 대량 추론용으로 생산하고, 앙상블을 단일 배포 가능한 네트워크로 압축하기 위해 내부적으로 증류를 사용한다.
한계 및 비판
증류된 학생은 일반적으로 가장 어려운 예제에서 교사보다 성능이 떨어지며, 교사의 편향과 맹점을 상속하거나 증폭할 수 있는데, 이는 독립적으로 기본 작업을 모델링하는 대신 교사를 모방하도록 최적화되기 때문이다. 모델의 능력 중 얼마나 많은 부분이 증류로 생존할 수 있는지, 아니면 얼마나 많은 부분이 규모 자체에 의존하는지에 대한 논쟁이 진행 중이며, 일부 증거는 특정 창발적 능력이 벤치마크 점수가 유사해 보여도 더 작은 증류 모델에서 불균형적으로 저하된다는 것을 시사한다. 증류는 또한 상업적으로 논쟁의 대상이 되었다: 여러 AI 연구소가 경쟁사가 규모에 따라 자체 출력을 훈련하여 독점 모델을 증류한다고 비난했는데, 이는 대부분 제공업체의 서비스 약관을 위반하지만 탐지하거나 입증하기 어렵고, 2025년 1월 딥시크 쇼크 보도의 쟁점이 되었다.