예제 기반 기계 번역(EBMT)은 실행 시점에 이중 언어 말뭉치의 병렬 텍스트를 주요 지식 기반으로 활용하는 기계 번역 방법이다. 이는 본질적으로 유추에 의한 번역이며, 기계 학습에 대한 사례 기반 추론 접근 방식의 구현으로 볼 수 있다. 심층 언어 분석을 요구하는 규칙 기반 시스템과 달리, EBMT는 원문 문장을 구(phrase)로 분해하고, 말뭉치의 예제를 사용하여 해당 구를 번역한 다음, 번역된 조각들을 목표 언어 문장으로 재구성하여 번역을 수행한다.
이 접근 방식은 1984년 나가오 마코토(Makoto Nagao)가 처음 제안했으며, 그는 이 방식이 영어와 일본어처럼 구조가 매우 다른 두 언어 간의 번역에 특히 적합하다고 주장했다. 이러한 경우 단일 문장이 목표 언어의 여러 구조화된 문장으로 매핑될 수 있어 심층 언어 분석의 유용성이 떨어진다. EBMT는 이후 통계적 및 규칙 기반 방법의 대안으로 탐구되었으며, 통계적 기계 번역과 이중 언어 말뭉치를 공유한다.
유추에 의한 번역
EBMT의 핵심 원리는 유추에 의한 번역이다. 이 개념은 인간 번역가가 모든 문장에 대해 심층 언어 분석을 수행한다는 생각을 거부한다. 대신, 번역가가 문장을 구로 분해하고, 이전에 접한 번역과의 유추를 통해 각 구를 번역한 다음, 번역된 구를 일관된 전체로 재구성한다고 가정한다. EBMT에서 이 원리는 훈련 말뭉치에 저장된 예제 번역을 통해 구현된다. 시스템은 새 입력의 번역을 안내하기 위해 말뭉치에서 유사한 예제를 검색한다.
역사와 발전
나가오 마코토는 1984년 EBMT를 소개하며 영어와 일본어처럼 구조가 매우 다른 언어 쌍에 대한 잠재력을 강조했다. 그의 통찰은 이러한 언어 쌍의 경우 문장이 종종 목표 언어의 여러 구조화된 문장으로 표현될 수 있어, 심층 언어 분석보다 예제 기반 방법이 더 효과적이라는 점이었다. 이후 수십 년 동안 EBMT는 발전하고 개선되었으며, 마이클 칼(Michael Carl)과 앤디 웨이(Andy Way)와 같은 연구자들이 2003년 저서 최근 예제 기반 기계 번역의 발전을 편집하는 데 기여했다. 최근 몇 년 동안 EBMT는 신경망 기반 접근 방식에 크게 가려졌지만, 병렬 말뭉치와 유추 사용에 대한 아이디어는 현대 기계 번역 연구에 계속 영향을 미치고 있다.
EBMT의 작동 방식
EBMT 시스템은 문장 쌍을 포함하는 이중 언어 병렬 말뭉치로 훈련된다. 예를 들어:
- "How much is that red umbrella?" ↔ "Ano akai kasa wa ikura desu ka."
- "How much is that small camera?" ↔ "Ano chiisai kamera wa ikura desu ka."
이러한 최소 쌍으로부터 시스템은 번역 단위를 학습한다. 예를 들어, "red umbrella"는 "akai kasa"에, "small camera"는 "chiisai kamera"에 해당한다. 이러한 단위는 새로운 번역을 생성하기 위해 결합될 수 있다. 예를 들어, 시스템이 "President Kennedy was shot dead during the parade"와 "The convict escaped on July 15th"와 같은 문장을 본 적이 있다면, 적절한 부분을 대체하여 "The convict was shot dead during the parade"를 번역할 수 있다.
구동사와 하위 언어 현상
EBMT는 맥락에 따라 의미가 크게 달라지는 구동사와 같은 하위 언어 현상에 특히 적합하다. 영어의 구동사는 동사 뒤에 부사나 전치사(불변화사)가 오는 형태로 구성되며, 그 의미는 개별 단어에서 파생되지 않는 경우가 많다. 예를 들어, 구동사 "put on"은 "Ram put on the lights"에서 "켜다"를 의미하거나 "Ram put on a cap"에서 "착용하다"를 의미할 수 있다. 힌두스타니어에서 이러한 의미는 각각 "jalana"와 "pahenna"라는 다른 동사에 해당한다. EBMT는 단어 대 단어 번역에 의존하는 대신 맥락과 일치하는 예제를 검색하여 이러한 모호성을 처리할 수 있다.
다른 접근 방식과의 관계
EBMT는 기계 번역에 대한 여러 데이터 기반 접근 방식 중 하나이다. 이는 규칙 기반 기계 번역과 달리 심층 언어 분석을 피하고 대신 예제 말뭉치를 사용한다. 또한 대규모 말뭉치에 대한 확률적 모델을 사용하는 통계적 기계 번역과도 다르지만, 둘 다 이중 언어 데이터에 의존한다. 2010년대에는 딥러닝 및 트랜스포머 기반 모델(예: 대규모 언어 모델에 사용되는 모델)이 실용적인 응용 분야에서 EBMT를 크게 대체했다. 그러나 유추와 예제 검색에 대한 EBMT의 강조는 여전히 유효하며, Cunei와 같은 오픈 소스 플랫폼은 EBMT와 통계적 방법을 결합한 하이브리드 접근 방식을 탐구했다.