신경 기계 번역(NMT)은 인공 신경망을 사용하여 단어 시퀀스의 가능성을 예측하는 기계 번역 접근 방식으로, 일반적으로 전체 문장을 단일 통합 모델로 모델링한다. 문장을 구절로 분해하고 별도의 구성 요소를 적용한 초기 통계적 방법과 달리, NMT는 번역을 종단 간 학습 문제로 취급하며, 신경망이 원문 문장을 대상 문장에 직접 매핑하도록 훈련된다. 이 접근 방식은 기계 번역의 지배적인 패러다임이 되었으며, 특정 조건에서 고자원 언어 간 번역 시 인간 번역에 필적하는 번역을 생성할 수 있다. 그러나 제한된 고품질 데이터를 가진 언어, 훈련 데이터와 실제 텍스트 간의 도메인 이동, 그리고 직역 경향과 같은 문제는 여전히 남아 있다.
NMT 시스템은 잠재적 번역에 확률을 할당하고 가장 가능성 높은 출력을 검색한다. 대부분의 모델은 자기 회귀적이며, 즉 한 번에 하나의 대상 토큰을 생성하고 각 예측을 원문 문장과 이전에 생성된 토큰에 조건화한다. 전체 번역의 확률은 이러한 개별 토큰 확률의 곱이다. 구조적으로, 대부분의 NMT 모델은 인코더-디코더 설계를 따른다: 인코더는 원문 문장을 벡터 또는 행렬 표현으로 처리하고, 디코더는 해당 표현과 자체 이전 출력을 사용하여 대상 문장을 토큰별로 생성한다. 이 과정은 특수한 문장 종료 토큰이 생성될 때까지 계속된다.
역사적 발전
NMT의 기원은 1980년대 후반으로 거슬러 올라간다. 1987년, 로버트 B. 앨런은 31개 단어의 제한된 어휘로 자동 생성된 영어 문장을 스페인어로 번역하는 피드포워드 신경망을 시연했다. 네트워크는 가변 길이 시퀀스를 처리하는 메커니즘이 없었기 때문에, 입력 및 출력 레이어는 각 언어의 가장 긴 문장을 수용하도록 크기가 조정되었다. 앨런은 또한 인코딩 및 디코딩을 위해 자동 연관 모델을 사용할 것을 제안했다.
1991년, 로니 크리스먼은 조던 B. 폴락이 개발한 별도의 재귀 자동 연관 메모리(RAAM) 네트워크를 원문 및 대상 언어에 대해 훈련시켜 이 작업을 확장했다. 이러한 네트워크는 임의 길이의 문장을 고정 크기의 은닉 표현으로 인코딩하고 다시 디코딩했으며, 두 네트워크가 은닉 표현을 공유한다는 추가 제약 조건을 통해 번역을 가능하게 했다. 1997년, 포르카다와 네코는 이를 원문 인코더와 대상 디코더를 직접 훈련시키는 재귀 이종 연관 메모리로 단순화했다. 또한 1997년, 카스타뇨와 카사쿠베르타는 소규모 번역 작업에 엘만의 순환 신경망을 사용했다.
이러한 초기 발전에도 불구하고, 당시의 컴퓨팅 자원은 실제 번역에 필요한 대규모 데이터 세트에 충분하지 않았다. 결과적으로, 통계적 기계 번역이 1990년대와 2000년대에 최첨단 기술이 되었다.
혼합 접근 방식
통계적 기계 번역 시대에 일부 연구자들은 기존 프레임워크에 신경 방법을 통합했다. 예를 들어, 홀거 슈벤크와 동료들은 전통적인 n-gram 언어 모델을 신경 언어 모델로 대체하고 피드포워드 네트워크를 사용하여 구절 번역 확률을 추정했다. 이러한 혼합 시스템은 통계적 접근 방식의 전형적인 로그-선형 특징 조합을 유지했지만, 특정 하위 문제를 개선하기 위해 신경 구성 요소를 활용했다.
seq2seq 돌파구
현대 종단 간 NMT 시대는 2013년과 2014년에 시작되었다. 칼흐브레너와 블룬솜은 원문 인코딩에 합성곱 신경망(CNN)을 사용했고, 초 등과 수츠케버 등은 독립적으로 순환 신경망(RNN)을 채택했다. 세 가지 모두 원문의 고정 인코딩에 조건화된 RNN 디코더를 사용했다. 그러나 이러한 모델은 더 긴 문장에서 성능이 저조했으며, 이 한계는 2014년 바흐다나우 등이 주의 메커니즘을 도입하면서 해결되었다. 각 디코딩 단계에서 주의는 디코더가 원문 문장의 다른 부분에 집중할 수 있게 하여, 특히 더 긴 입력에 대해 번역 품질을 개선하는 컨텍스트 벡터를 동적으로 계산했다.
현대 아키텍처와 발전
주의 메커니즘은 이후 NMT 시스템의 기초 구성 요소가 되었다. 2017년, 바스와니 등이 도입한 트랜스포머 아키텍처는 순환 및 합성곱 레이어를 멀티 헤드 주의 메커니즘으로 대체하여 병렬 처리와 장거리 의존성의 더 나은 처리를 가능하게 했다. 트랜스포머는 빠르게 NMT의 표준이 되었으며, 방대한 말뭉치에 대한 사전 훈련을 통해 번역 능력을 더욱 향상시킨 대규모 언어 모델의 개발을 뒷받침했다.
현대 NMT 시스템은 종종 디코딩을 위한 빔 검색, 견고성 향상을 위한 데이터 증강, 효율성을 위한 모델 가지치기와 같은 기술을 통합한다. 이들은 구글 클라우드, 아마존 웹 서비스, 애저를 포함한 주요 클라우드 제공업체와 전문 AI 기업에 의해 배포된다. 이러한 발전에도 불구하고, NMT는 여전히 저자원 언어와 도메인 적응 문제에 직면하고 있으며, 그 출력은 지나치게 직역적일 수 있어 관용적 또는 문화적으로 미묘한 표현을 놓치는 경우가 있다.
평가와 영향
NMT 시스템은 일반적으로 생성된 번역을 참조 번역과 비교하는 BLEU와 같은 자동 지표로 평가되지만, 유창성과 적절성을 평가하는 데 인간 평가가 여전히 중요하다. NMT의 영향은 번역 도구를 넘어 생성형 AI와 인공지능 분야에 더 널리 영향을 미치며, 종단 간 학습의 힘을 보여주었다. 2020년대 중반 현재, NMT는 계속 진화하고 있으며, 연구는 효율성 개선, 다국어 시나리오 처리, 한계를 해결하기 위한 외부 지식 통합에 초점을 맞추고 있다.