혼동 네트워크(confusion network)는 때때로 단어 혼동 네트워크(word confusion network)라고도 하며, 비공식적으로 소시지(sausage)라고도 알려져 있는데, 자연어 처리에서 여러 자동 음성 인식 또는 기계 번역 시스템의 출력을 결합하는 데 사용되는 데이터 구조입니다. 이는 단어 시퀀스에 대한 경쟁적 가설을 간결한 형태로 표현하여, 하위 프로세스가 더 많은 맥락을 사용할 수 있을 때까지 모호한 내용에 대한 결정을 연기할 수 있게 합니다.
이 구조는 단순한 선형 방향성 비순환 그래프입니다. 단일 시작 노드와 단일 끝 노드를 가지며, 시작에서 끝까지의 모든 경로가 모든 중간 노드를 순서대로 통과하는 특성을 지닙니다. 인접한 두 노드 사이에는 해당 위치를 차지할 수 있는 대체 단어 또는 구를 나타내는 일련의 에지가 있습니다. 이러한 대안 집합을 혼동 집합(confusion set)이라고 합니다. 각 에지는 일반적으로 해당 특정 옵션에 대한 기본 시스템의 신뢰도를 반영하는 가중치 또는 확률을 지닙니다.
기원과 목적
혼동 네트워크는 1990년대 후반과 2000년대 초반의 자동 음성 인식 연구에서 등장했습니다. 음성 인식기는 종종 가능한 단어 시퀀스의 더 복잡한 그래프인 격자(lattice)를 생성하지만, 격자는 언어 모델이나 기계 번역 시스템과 같은 하위 구성 요소가 처리하기에 계산 비용이 많이 들 수 있습니다. 혼동 네트워크는 격자를 선형 구조로 축소하여 표현력을 일부 희생하는 대신 효율성을 얻음으로써 이를 단순화합니다. 선형 형태는 알고리즘이 출력을 단일 패스로 처리할 수 있게 하며, 이는 전화 통신이나 방송 전사와 같은 실시간 응용 프로그램에서 특히 유용합니다.
비공식적 이름인 "소시지"는 그래프를 그릴 때 연결된 세그먼트의 체인처럼 보이는 시각적 모양에서 유래했습니다. 이 용어는 2000년대 초반의 학술 문헌, 특히 Nokia Bell Labs 및 격자 압축 기술을 탐구한 다른 기관의 연구자들의 작업에서 나타납니다.
기계 번역에서의 사용
기계 번역에서 혼동 네트워크는 뚜렷한 역할을 합니다. 여러 인식기의 출력을 결합하는 대신, 번역 시스템이 여러 모호한 입력을 수용하고 처리의 후반 단계까지 결정을 연기할 수 있게 합니다. 예를 들어, 불확실성으로 전사된 음성을 번역할 때, 번역 시스템은 혼동 네트워크를 입력으로 받아 모든 대안을 동시에 고려하는 번역을 생성할 수 있습니다. 이 접근 방식은 잘못될 수 있는 단일 전사에 얽매이지 않고, 번역 모델이 자체 지식을 사용하여 가능성을 평가하도록 합니다.
이 맥락에서 정의적 특성은 결정의 연기입니다. 혼동 네트워크를 사용하는 번역 시스템은 자체가 혼동 네트워크인 대상 언어 출력을 생성할 수 있으며, 이는 추가 모델을 사용하여 재점수화하거나 디코딩할 수 있습니다. 이는 인식 오류가 흔하고 잘못된 초기 선택의 비용이 전체 번역에 전파될 수 있는 음성 언어 번역에서 특히 유용합니다.
소프트웨어 구현
혼동 네트워크는 여러 널리 사용되는 번역 및 음성 처리 도구에 구현되어 있습니다. 주로 university-of-edinburgh와 Carnegie Mellon University에서 개발되고 많은 기관의 기여를 받은 오픈 소스 기계 번역 소프트웨어 Moses는 혼동 네트워크 디코딩 지원을 포함합니다. Moses는 사용자가 특정 형식으로 혼동 네트워크를 입력하고 대체 가설을 고려한 번역을 생성할 수 있게 합니다.
상업적 영역에서, 현재 ibm의 클라우드 제품의 일부인 IBM Bluemix Watson의 독점 번역 API는 음성 간 번역 파이프라인의 일부로 혼동 네트워크를 사용해 왔습니다. 이 API는 오디오 입력을 수락하고 인식을 수행한 후 번역 엔진에 전달되는 혼동 네트워크를 구성하여 인식 오류에 대한 견고성을 향상시킵니다.
다른 기법과의 관계
혼동 네트워크는 가설을 결합하는 다른 방법과 관련이 있지만 구별됩니다. Beam Search는 여러 부분 가설을 탐색하지만 간결한 그래프 구조를 생성하지 않는 디코딩 전략입니다. Transformer (architecture) 아키텍처를 기반으로 하는 것과 같은 Sequence-to-Sequence (Seq2Seq) 모델은 일반적으로 단일 입력 시퀀스에서 작동하며 대체 입력을 기본적으로 처리하지 않지만, 확장이 제안되었습니다. 혼동 네트워크는 또한 여러 독립 인식기의 출력이 단일 네트워크로 병합되는 시스템 결합에 사용되며, 이 기법은 단일 시스템보다 단어 오류율을 줄이는 것으로 나타났습니다.
현대 Deep learning 기반 시스템에서 혼동 네트워크는 대규모 데이터 세트로 훈련된 종단 간 모델이 종종 내부적으로 모호성을 처리하므로 덜 두드러졌습니다. 그러나 하이브리드 시스템과 방송 뉴스 전사 또는 다국어 통화 라우팅과 같은 여러 레거시 시스템을 통합해야 하는 시나리오에서는 여전히 관련이 있습니다.
한계와 확장
혼동 네트워크의 주요 한계는 고정된 위치 순서를 가정한다는 것입니다. 이는 시스템이 단어의 존재 여부에 대해 의견이 다를 때 발생할 수 있는 서로 다른 가설 간의 단어 삽입 또는 삭제를 표현하는 데 부적합하게 만듭니다. 일반화된 혼동 네트워크 또는 정렬 기반 변형과 같은 확장은 널 에지를 허용하거나 더 복잡한 정렬 절차를 사용하여 이를 해결합니다. 또 다른 한계는 선형 구조가 전체 격자가 보존할 수 있는 장거리 의존성을 잃을 수 있다는 점이지만, 실제로는 효율성 이득이 이러한 손실보다 큰 경우가 많습니다.
연구는 또한 Data Augmentation을 통해 Neural network 모델을 훈련하는 것과 같은 다른 작업에서 혼동 네트워크를 사용하는 것을 탐구했으며, 여기서 대안은 훈련 데이터에 자연스러운 변형을 제공합니다. 일부 작업은 Large language model 프롬프팅에 이를 적용하여 사용자 쿼리의 여러 가능한 해석을 나타내는 데 네트워크를 사용했습니다.