Teacher forcing는 순환 신경망(RNN)의 가중치를 훈련시키기 위한 알고리즘이다. 이는 관측된 시퀀스 값, 즉 정답 샘플(ground-truth samples)을 각 단계 후에 RNN에 다시 피드백하여, RNN이 정답 시퀀스에 가깝게 유지되도록 강제하는 것을 포함한다. 이 기법은 시퀀스-투-시퀀스 모델과 대규모 언어 모델에서 훈련 효율성과 안정성을 개선하기 위해 널리 사용된다.
"Teacher forcing"라는 용어는 RNN을 각 부분의 답(예: 수학 계산)이 이전 부분의 답에 의존하는 다중 부분 시험을 치르는 인간 학생에 비유함으로써 설명될 수 있다. 이 비유에서, 학생이 첫 번째 부분에서만 실수를 했음에도 모든 부분에서 실패할 위험을 감수하며 모든 답을 마지막에 채점하는 대신, 교사는 각 개별 부분의 점수를 기록하고 학생에게 올바른 답을 알려주어 다음 부분에서 사용하게 한다. 이 외부 교사 신호는 모델이 훈련 중 자신의 오류를 증폭시키는 대신 올바른 맥락에서 학습하도록 돕는다.
외부 교사 신호의 사용은 실시간 순환 학습(RTRL)과 대조적이다. 교사 신호는 오실레이터 네트워크에서 알려져 있다. 그 약속은 teacher forcing이 훈련 시간을 줄이는 데 도움이 된다는 것이다. "Teacher forcing"이라는 용어는 1989년 Ronald J. Williams와 David Zipser에 의해 도입되었으며, 그들은 이 기법이 당시 "동적 지도 학습 작업에서 자주 사용되고 있었다"고 보고했다. NeurIPS 2016 논문은 관련 방법인 "professor forcing"을 소개했다.
메커니즘 및 훈련
일반적인 RNN 훈련 설정에서 네트워크는 입력 시퀀스를 처리하고 각 시간 단계에서 출력을 생성한다. Teacher forcing 없이, 네트워크의 이전 출력이 다음 시간 단계의 입력으로 공급되며, 이는 네트워크가 초기에 실수를 하면 오류 누적으로 이어질 수 있다. Teacher forcing은 대신 네트워크의 이전 출력을 훈련 데이터의 실제 정답 값으로 대체한다. 이 접근 방식은 교사가 연습 중 올바른 답을 제공하여 학생이 올바른 경로에서 너무 멀리 벗어나는 것을 방지하는 것과 유사하다.
이 알고리즘은 손실 함수와 순전파를 수정하여 구현된다. 훈련 중 각 단계에서 모델은 정답 토큰을 입력으로 받고, 손실은 예측된 분포에 대해 계산된다. 이는 특히 Encoder-Decoder Architecture 아키텍처에서 효과적이며, 여기서 디코더는 인코딩된 표현에 조건화된 시퀀스를 생성한다. Teacher forcing은 종종 Curriculum Learning 및 Gradient Clipping과 같은 기법과 결합되어 훈련을 더욱 안정화한다.
장점 및 한계
Teacher forcing은 여러 가지 장점을 제공한다. 즉각적인 피드백을 제공하고 오류 전파를 방지함으로써 훈련 시간을 크게 줄인다. 또한 최적화 경관을 단순화하여 Adam (Optimizer)와 같은 경사 기반 방법이 수렴하기 쉽게 만든다. 그러나 주요 한계는 노출 편향 문제이다: 추론 중 모델은 자체 예측에 의존해야 하며, 이는 훈련 중 본 정답 분포와 다를 수 있다. 이러한 불일치는 자동 회귀 생성 작업에서 성능 저하로 이어질 수 있다.
노출 편향을 완화하기 위해 연구자들은 모델이 teacher forcing에서 자유 실행(자체 출력 사용)으로 점진적으로 전환되는 스케줄링된 샘플링과 같은 변형을 개발했다. 또 다른 접근 방식은 2016년 NeurIPS 논문에서 소개된 professor forcing으로, 적대적 판별기를 사용하여 훈련 및 추론 중 모델의 은닉 상태가 유사하도록 장려한다. 이러한 방법은 훈련과 추론 조건 간의 격차를 메우는 것을 목표로 한다.
응용 분야
Teacher forcing은 기계 번역, 텍스트 요약, 음성 인식을 위한 기계 학습 시스템을 포함한 시퀀스 생성 모델 훈련의 표준 구성 요소이다. 이는 많은 현대 생성형 AI 시스템의 기반이 되는 Transformer (architecture) 기반 모델에서 특히 중요하다. 예를 들어, OpenAI의 GPT 시리즈와 Anthropic의 Claude 모델은 사전 훈련 중 teacher forcing에 의존하여 시퀀스의 다음 토큰을 예측한다. 이 기법은 이미지 캡셔닝 및 대화 생성과 같은 작업의 Sequence-to-Sequence (Seq2Seq) 모델에도 사용된다.
자연어 처리 외에도 teacher forcing은 정확한 시퀀스 예측이 중요한 시계열 예측 및 제어 시스템에 적용되었다. 이러한 영역에서 정답 신호는 데이터가 노이즈가 많거나 고도로 비선형적일 때 모델이 역학을 더 안정적으로 학습하는 데 도움이 된다.
다른 방법과의 관계
Teacher forcing은 외부 교정 없이 네트워크 자체 출력에 기반하여 가중치를 업데이트하는 실시간 순환 학습(RTRL)과 구별된다. RTRL은 더 생물학적으로 그럴듯하지만 계산 비용이 많이 들고 대규모 모델에는 덜 실용적이다. Teacher forcing은 또한 보상 신호를 사용하는 AI 피드백 기반 강화 학습(RLAIF)과 다르며, 직접적인 정답 입력을 사용하지 않는다. 대조적으로 teacher forcing은 레이블된 시퀀스 데이터에 접근할 수 있다고 가정하는 지도 학습 기법이다.
이 방법은 각 단계에서 오류가 측정되는 방식을 정의한다는 점에서 손실 함수 개념과 밀접하게 관련된다. 또한 일반화를 개선하기 위해 훈련 중 일반적으로 적용되는 Dropout 및 Batch Normalization 기법과 상호작용한다. 실제로 teacher forcing은 추론 중 고품질 시퀀스를 생성하기 위해 Beam Search와 종종 결합된다.
같이 보기
- 온라인 기계 학습
- 강화 학습