기계 번역(MT)은 소프트웨어를 사용하여 텍스트나 음성을 한 자연 언어에서 다른 자연 언어로 번역하는 것을 말한다. 그 역사는 70년 이상에 걸쳐 있으며, 단순한 사전 기반 단어 대체에서 Artificial intelligence 및 Deep learning에 기반한 정교한 시스템으로 진화해 왔다. 이 분야는 계산 능력, 언어 이론, 디지털 텍스트의 가용성 변화에 의해 주도된 낙관과 실망의 반복적인 순환에 의해 형성되어 왔다.
기계 번역에 대한 최초의 실용적 제안은 전자 컴퓨터의 개발과 함께 1940년대에 등장했다. 1947년, 록펠러 재단의 수학자 워렌 위버는 번역을 암호 해독 또는 통계적 추론의 문제로 볼 수 있다는 메모를 작성했다. 이 아이디어는 1954년 조지타운 대학과 IBM의 협력이 고정된 사전과 문법 규칙을 사용하여 러시아어 문장의 작은 집합을 영어로 번역하는 시스템을 발표하면서 MT의 첫 공개 시연의 기초를 마련했다. 제한적이었지만, 이 시연은 미국에서 광범위한 열광과 연방 자금 지원을 불러일으켰다.
초기 규칙 기반 시스템
1950년대와 1960년대에 대부분의 MT 연구는 규칙 기반 접근 방식을 따랐다. 이러한 시스템은 수작업으로 만든 사전과 문법 규칙에 의존하여 원문을 구문 분석하고, 단어와 구조를 목표 언어에 매핑하며, 출력을 생성했다. 주요 예로는 1960년대 후반에 개발된 Systran 시스템이 있으며, 이후 미국 공군과 유럽 위원회에서 사용되었다. 그러나 모호성, 관용구, 불규칙 문법을 포함한 자연 언어의 복잡성은 초기 연구자들이 예상했던 것보다 훨씬 더 컸다. 1966년, 미국 정부가 의뢰한 자동 언어 처리 자문 위원회(ALPAC) 보고서는 MT가 인간 번역보다 느리고, 덜 정확하며, 더 비싸다고 결론지었고, 이는 자금의 급격한 감소와 MT에 대한 소위 "AI 겨울"로 불리는 기간을 초래했다.
좌절에도 불구하고 연구는 다양한 형태로 계속되었다. 1970년대와 1980년대에는 중간 언어로 의미를 표현하려는 전이 기반 및 인터링구아 기반 시스템이 개발되었다. 이러한 접근 방식은 광범위한 언어 지식을 요구했으며 확장하기 어려웠다. 일본에서 개발된 후지쯔와 NEC 제품과 같은 상용 시스템이 등장했지만, 그 품질은 좁은 영역으로 제한되었다.
통계 및 말뭉치 기반 방법
1980년대 후반과 1990년대에 통계적 기계 번역(SMT)의 부상과 함께 주요 패러다임 전환이 발생했다. 명시적 규칙에 의존하는 대신, SMT는 병렬 텍스트(이중 언어 말뭉치)의 대규모 집합을 사용하여 번역 확률을 학습했다. 1990년대 초 Carnegie Mellon University와 IBM 연구소에서 개발된 IBM 모델은 이 접근 방식을 공식화하여 번역을 주어진 원문에 대해 가장 가능성 있는 목표 문장을 찾는 문제로 취급했다. 이후 2000년대 초에 도입된 구문 기반 SMT는 개별 단어 대신 연속적인 단어 시퀀스를 번역함으로써 품질을 향상시켰다. 2006년에 출시된 Google 번역과 같은 시스템은 처음에 SMT를 사용하여 웹 규모의 방대한 말뭉치를 활용했다.
SMT는 상당한 진전을 나타냈지만, 여전히 어순, 장거리 의존성, 희귀 단어에 어려움을 겪었다. MIT CSAIL 및 다른 기관의 연구자들은 언어 구조를 통합하는 구문 기반 모델을 탐구했지만, 이러한 모델은 복잡했고 종종 더 단순한 구문 기반 시스템을 능가하지 못했다.
신경망 기계 번역
2014년 신경망 기계 번역(NMT)의 도입과 함께 두 번째 주요 돌파구가 발생했다. NMT는 특히 Encoder-Decoder Architecture 구조를 가진 Sequence-to-Sequence (Seq2Seq) 모델과 같은 Neural network 아키텍처를 사용하여 전체 문장을 한 번에 번역한다. University of Toronto와 Google의 연구자들이 개발한 초기 NMT 모델은 장단기 메모리(LSTM) 유닛을 가진 순환 신경망(RNN)을 사용했다. 2015년, Google 팀( jakub-uszkoreit 및 Lukasz Kaiser 포함)이 Transformer (architecture) 아키텍처에서 도입한 Multi-Head Attention 메커니즘은 순환을 완전히 대체하여 병렬 처리를 가능하게 하고 장거리 의존성을 더 잘 처리하게 했다. 트랜스포머는 현대 MT의 기초가 되었다.
2016년에 출시된 Google의 신경망 기계 번역(GNMT)과 같은 NMT 시스템은 유창성과 정확성에서 극적인 개선을 달성했으며, 일반적인 언어 쌍에 대해 종종 인간 수준의 성능에 근접했다. 이러한 시스템은 Machine learning 기술을 사용하여 대규모 데이터 세트로 훈련되며, 원문을 목표 텍스트에 직접 매핑하는 Deep learning 모델을 사용한다. OpenAI의 GPT 시리즈와 Anthropic의 Claude와 같은 Large language model의 개발은 MT를 더욱 발전시켰으며, 이러한 모델은 언어에 대한 광범위한 이해를 활용하여 많은 작업 중 하나로 번역을 수행할 수 있다.
현대 시대와 대규모 언어 모델
2010년대 후반 이후, MT는 Generative AI와 깊이 통합되었다. 방대한 다국어 말뭉치로 훈련된 대규모 언어 모델은 종종 명시적 병렬 데이터 없이도 몇 번의 학습 또는 제로샷 학습을 통해 고품질로 번역할 수 있다. OpenAI, Anthropic, Google DeepMind와 같은 회사는 수십 개의 언어와 방언을 처리하는 모델을 배포했다. 이러한 시스템은 Amazon Web Services, Microsoft Azure, Google Cloud와 같은 클라우드 플랫폼을 통해 제공되어 MT를 웹 브라우저, 모바일 장치 및 엔터프라이즈 소프트웨어에서 보편적인 도구로 만들었다.
이러한 발전에도 불구하고, 과제는 남아 있다. 저자원 언어, 도메인별 용어, 문화적 뉘앙스는 여전히 어려움을 제기한다. 연구자들은 Data Augmentation, Curriculum Learning, Reinforcement Learning from AI Feedback (RLAIF) (AI 피드백 기반 강화 학습)와 같은 기술을 계속 탐구하여 견고성을 향상시키고 있다. 따라서 기계 번역의 역사는 규칙 기반 선구자에서 현재의 신경망 및 생성 모델 시대에 이르기까지 지속적인 혁신의 이야기이며, 각 세대는 이전 세대의 교훈을 바탕으로 구축된다.
주요 이정표와 기관
여러 기관이 중추적인 역할을 해왔다. Xerox PARC는 초기 자연 언어 처리 연구에 기여했다. Nokia Bell Labs와 NEC는 상용 MT에서 활동했다. Stanford AI Lab, BAIR (Berkeley AI Research), University of Oxford와 같은 학술 센터는 영향력 있는 연구를 생산했다. 이 분야는 또한 초기 신경망의 Bernard Widrow와 기계 학습의 Michael I. Jordan을 포함한 개별 연구자들의 작업으로부터 혜택을 받았다. MT의 지속적인 진화는 하드웨어의 발전과 밀접하게 연결되어 있으며, NVIDIA (제공된 목록에는 없지만, 링크되지 않음) 및 AMD와 같은 회사가 대규모 모델 훈련을 위한 계산 능력을 제공한다.
미래 방향
기계 번역의 미래는 음성 인식 및 합성과의 더 긴밀한 통합, 실시간 번역, 멀티모달 콘텐츠의 개선된 처리를 포함할 가능성이 높다. Artificial intelligence가 계속 발전함에 따라 MT는 더욱 매끄러워질 수 있지만, 의미, 맥락, 문화적 적응의 근본적인 과제는 이 분야의 중심으로 남을 것이다.