연결주의 시간적 분류(CTC)는 입력과 출력이 시간적으로 정렬되지 않은 시퀀스 라벨링 작업에서 신경망을 훈련시키는 데 사용되는 손실 함수이자 출력 표현입니다. 이는 2006년에 도입되었으며 기본 신경망 구조와 독립적이므로 다양한 아키텍처에 적용할 수 있습니다. CTC는 일반적으로 온라인 필기 인식 및 음성 인식과 같은 작업에 사용되며, 여기서 입력 시퀀스(예: 오디오 프레임 또는 펜 스트로크)는 출력 라벨 시퀀스(예: 음소 또는 문자)보다 훨씬 깁니다.
CTC가 해결하는 핵심 과제는 입력 관측값과 대상 라벨 사이의 알 수 없는 정렬입니다. 예를 들어, 음성 오디오에서 여러 시간 조각이 단일 음소에 해당할 수 있으며, 훈련 중 정확한 경계는 알 수 없습니다. CTC는 각 시간 단계에서 특수한 공백 출력을 포함하여 라벨에 대한 확률 분포를 예측하여 이 문제를 해결합니다. 경계나 타이밍을 학습하려고 시도하지 않으며, 대신 라벨 시퀀스가 정렬에서만 다르고 공백을 무시하는 경우 동등한 것으로 간주합니다. 이러한 동등성은 주어진 라벨 시퀀스에 대해 많은 가능한 정렬을 생성하여 점수 계산을 복잡하게 만들지만, 효율적인 전방-후방 알고리즘이 존재하여 총 확률을 계산할 수 있습니다.
훈련 및 점수 계산
CTC 점수는 대상 라벨 시퀀스에 매핑되는 모든 가능한 정렬에 대한 확률의 합으로 계산됩니다. 이 점수는 미분 가능하므로 역전파 알고리즘과 함께 사용하여 신경망 가중치를 업데이트할 수 있습니다. 네트워크는 일반적으로 소프트맥스 레이어와 같은 연속 출력을 가지며, 훈련을 통해 각 시간 단계에서 각 라벨의 확률을 모델링하도록 적합됩니다. 은닉 마르코프 모델(HMM)에서 사용되는 것과 유사한 전방-후방 알고리즘은 손실 및 그 기울기의 효율적인 계산을 가능하게 합니다. CTC에 적합된 신경망에 대한 대안적 접근 방식으로는 상태 전환 및 지속 시간을 명시적으로 모델링하는 HMM을 사용하는 것이 있습니다.
응용 및 이정표
CTC는 여러 주목할 만한 시스템에서 성공적으로 적용되었습니다. 2009년에는 CTC로 훈련된 장단기 메모리(LSTM) 네트워크가 패턴 인식 대회에서 우승한 최초의 순환 신경망(RNN)이 되었으며, 여러 연결된 필기 인식 대회에서 우승했습니다. 2014년에는 중국 회사 바이두가 CTC 손실 함수로 훈련된 양방향 RNN(LSTM이 아님)을 사용하여 기존의 전통적인 음성 처리 방법 없이 2S09 Switchboard Hub5'00 음성 인식 데이터 세트 벤치마크를 돌파했습니다. 2015년에는 CTC가 Android 기기의 Google 음성 검색 및 받아쓰기에 사용되어 소비자 제품에서의 실용적 유용성을 입증했습니다.
한계 및 확장
CTC는 단조 정렬(monotonic alignment)로 제한되며, 즉 출력 라벨의 순서가 입력 관측값의 순서와 일치해야 합니다. 음소와 단어가 고정된 순서로 발생하는 음성 인식에는 문제가 되지 않습니다. 그러나 언어 번역에서는 문제가 될 수 있는데, 한 언어의 나중 단어가 다른 언어의 단어 순서 차이로 인해 이전 단어에 해당할 수 있기 때문입니다. 이러한 한계는 주의 메커니즘과 같은 비단조 정렬을 처리할 수 있는 대체 시퀀스-투-시퀀스 모델의 개발을 촉진했습니다. 그럼에도 불구하고 CTC는 시퀀스 라벨링에서 기초적인 기술로 남아 있으며 종종 하이브리드 시스템이나 더 복잡한 아키텍처의 구성 요소로 사용됩니다.
다른 기술과의 관계
CTC는 다른 시퀀스 모델링 접근 방식과 밀접한 관련이 있습니다. 종종 시퀀스 정렬을 처리하지만 다른 확률적 프레임워크를 사용하는 은닉 마르코프 모델(HMM)과 비교됩니다. 딥러닝에서 CTC는 특히 LSTM 및 양방향 RNN과 같은 순환 신경망과 함께 자주 사용되지만 트랜스포머와 같은 다른 아키텍처에도 적용될 수 있습니다. 이 손실 함수는 지도 학습에서 사용되는 손실 함수 유형에 속하며, 추론 중 디코딩을 위해 빔 탐색과 같은 기술과 결합되는 경우가 많습니다. CTC의 정렬 없는 훈련에 대한 초점은 이후 시퀀스-투-시퀀스 학습의 발전에 영향을 주었지만, 주의 기반 방법과는 여전히 구별됩니다.