Google Neural Machine Translation(GNMT)은 Google이 개발하고 2016년 11월에 도입한 신경망 기계 번역 시스템이다. 인공 신경망을 사용하여 Google 번역의 유창성과 정확성을 높였으며, 기존의 통계적 기계 번역 방식을 대체했다. 이 시스템은 딥러닝을 활용하여 번역 품질을 개선하고, 문장 전체를 한 번에 번역하도록 설계되었다. 2020년까지 GNMT는 Transformer 인코더와 RNN 디코더를 기반으로 한 더 새로운 딥러닝 시스템으로 대체되었다.
GNMT 아키텍처는 인코더와 디코더라는 두 개의 주요 블록으로 구성되었으며, 둘 다 LSTM(장단기 메모리) 네트워크를 기반으로 했다. 각 블록은 레이어당 1024개의 유닛을 가진 8개의 레이어로 구성되었고, 1레이어 1024폭의 단순한 피드포워드 어텐션 메커니즘이 이들을 연결했다. 총 파라미터 수는 1억 6천만 개 이상, 약 2억 1천만 개, 2억 7천 8백만 개, 또는 3억 8천만 개로 다양하게 보고되었다. 이 시스템은 WordPiece 토크나이저와 빔 서치 디코딩 전략을 사용했으며, Tensor Processing Units(TPU)에서 실행되었다.
역사
GNMT의 기반을 마련한 Google Brain 프로젝트는 2011년 Google X 연구소에서 Google Fellow 제프 딘, Google 리서처 그렉 코라도, 스탠포드 대학교 교수 앤드류 응에 의해 설립되었다. 2016년 11월, GNMT가 도입되었고 Google 번역은 2007년 10월부터 사용되던 기존의 통계적 방법 대신 신경망 기계 번역을 사용하기 시작했다.
GNMT 훈련은 상당한 계산 노력이 필요한 작업이었다. OpenAI의 2018년 추정에 따르면, 약 79 페타FLOP-일(또는 7e21 FLOP)의 계산이 필요했으며, 이는 2014년 Seq2seq 모델보다 1.5배 더 크지만 2021년 GPT-J-6B보다 약 2배 작은 규모였다.
새 엔진은 처음에 8개 언어(영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 중국어, 일본어, 한국어, 터키어)에 대해 활성화되었다. 2017년 3월에는 러시아어, 힌디어, 베트남어, 태국어 지원이 추가되었다. 같은 달 후반에는 Google 번역 커뮤니티의 도움으로 히브리어와 아랍어가 추가되었다. 2017년 4월 중순에는 네덜란드어와 영어와 관련된 기타 유럽 언어가 지원되었다. 2017년 4월 말에는 9개의 인도 언어(힌디어, 벵골어, 마라티어, 구자라트어, 펀자브어, 타밀어, 텔루구어, 말라얄람어, 칸나다어)가 추가되었다.
2020년까지 Google은 GNMT를 단계적으로 폐지하고 Transformer 기반 신경망 시스템으로 대체했다.
기술
GNMT는 예제 기반 기계 번역 방법을 사용하여 언어 번역의 수백만 가지 예제에서 학습했다. 시스템의 아키텍처는 Google 번역이 지원하는 100개 이상의 언어에서 처음 테스트되었다. 대규모 종단 간 프레임워크를 통해 시스템은 시간이 지남에 따라 더 자연스러운 번역을 생성하도록 학습했다. GNMT는 조각별로 번역하는 대신 문장 전체를 한 번에 번역하려고 시도했으며, 구문 간 번역을 암기하는 대신 문장의 의미를 인코딩하여 언어 간 기계 번역을 수행할 수 있었다.
신경망은 딥러닝 기술을 사용하여 훈련되었으며, 그 설계는 언어 간 공통점을 찾기 위해 심리학과 언어학의 통찰을 활용했다. 보편적인 인터링구아를 만들지는 않았지만, 언어에 독립적인 방식으로 의미를 인코딩하는 것을 목표로 했다.
평가
GNMT는 이전 Google 번역보다 개선된 점으로, 영어를 거치지 않고 한 언어를 다른 언어로 직접 번역하는 "제로샷 번역"을 처리할 수 있었다. 예를 들어, 일본어-영어 및 한국어-영어 쌍으로 훈련된 경우 일본어-한국어 번역을 수행할 수 있었다. 이 시스템은 언어에 독립적인 중간 표현을 학습하는 것으로 보였으며, 이 기능을 가능하게 했다. 이전에는 Google 번역이 먼저 원본 언어를 영어로 번역한 다음 대상 언어로 번역했다.
2019년 7월 《Annals of Internal Medicine》에 발표된 연구에 따르면 "Google 번역은 비영어권 임상 시험을 번역하는 데 실행 가능하고 정확한 도구"였다. 기계 번역된 시험을 검토한 검토자들 간의 단 한 건의 의견 불일치만 번역 오류로 인한 것이었다. 많은 의학 연구가 언어 장벽으로 인해 체계적 검토에서 제외되기 때문에, GNMT는 이러한 검토에서 편향을 줄이고 정확성을 개선할 잠재력이 있었다.
유산
GNMT는 기계 번역에 딥러닝을 적용한 이정표였으며, 전통적인 통계적 방법보다 Neural network 기반 접근 방식의 효과를 입증했다. 그 아키텍처는 이후 Transformer (architecture) 모델의 발전에 영향을 주었으며, 이는 나중에 Large language model의 기초가 되었다. 이 시스템의 tensor-processing-units 사용은 AI 워크로드를 위한 특수 하드웨어의 중요성을 강조했다. 2020년까지 Transformer 기반 모델로의 전환은 GNMT가 마련한 기반 위에 구축된 번역 기술의 다음 진화를 의미했다.