시퀀스-투-시퀀스(seq2seq)는 2014년에 도입된 신경망 아키텍처로, 입력 시퀀스를 잠재적으로 다른 길이의 출력 시퀀스로 매핑하며, 입력을 고정 길이 표현으로 압축하는 인코더와 그 표현에서 출력 시퀀스를 한 요소씩 생성하는 디코더라는 두 개의 결합된 네트워크를 사용한다. Seq2seq는 신경 기계 번역의 기초가 된 인코더-디코더 패턴을 확립했으며, 어텐션 메커니즘과 이후 트랜스포머 아키텍처의 개발을 직접적으로 촉진했다.
아키텍처
원래 공식에서 인코더와 디코더는 모두 순환 신경망으로 구현되며, 가장 일반적으로 LSTM 유닛을 사용하여 단순한 순환 설계의 기울기 소실 문제를 완화한다. 인코더는 원본 언어의 문장과 같은 입력 시퀀스를 한 토큰씩 처리하면서 내부 은닉 상태를 업데이트하고, 최종 은닉 상태를 전체 입력의 요약으로 디코더에 전달한다. 그런 다음 디코더는 자기회귀 모델 방식으로 출력 토큰을 한 번에 하나씩 생성하며, 이전 출력을 입력으로 사용하여 다음 토큰을 예측하고, 지정된 종료 시퀀스 마커를 생성할 때까지 계속한다.
기원
이 아키텍처는 2014년 논문 "Sequence to Sequence Learning with Neural Networks"에서 일리야 수츠케버가 오리올 비니알스 및 콕 레와 함께 구글에서 소개했으며, 다층 LSTM 인코더-디코더를 사용하여 영어-프랑스어 기계 번역에서 강력한 결과를 입증했다. 거의 동시에 조경현과 동료들이 밀접하게 관련된 공식을 발표했으며, 동일한 인코더-디코더 프레임워크 내에서 LSTM의 단순화된 대안으로 게이트 순환 유닛도 도입했다.
어텐션 메커니즘 통합
원래 seq2seq 설계의 주요 한계는 전체 입력 시퀀스를 요약하기 위해 단일 고정 길이 벡터에 의존한다는 점이었으며, 이는 정보가 압축되고 손실되면서 더 긴 문장에서 성능을 저하시켰다. 이러한 병목 현상은 2015년 Dzmitry Bahdanau와 동료들이 어텐션 메커니즘을 도입하도록 동기를 부여했으며, 이를 통해 디코더가 모든 인코더 은닉 상태를 다시 살펴보고 각 출력 토큰을 생성할 때 입력의 어느 부분이 가장 관련이 있는지 동적으로 가중치를 부여할 수 있어 긴 시퀀스의 번역 품질을 크게 향상시키고 어텐션을 시퀀스 모델의 표준 구성 요소로 확립했다.
유산
어텐션이 있는 Seq2seq는 2016년 구글 번역의 완전 신경 시스템 전환을 포함하여 신경 기계 번역 시스템의 지배적인 아키텍처가 되었으며, 이후 2017년 트랜스포머 아키텍처에서 순환 구성 요소가 완전히 제거되었는데, 그 제목 "Attention Is All You Need"는 seq2seq 연구가 매우 효과적임을 보여준 메커니즘을 직접적으로 언급한다. Seq2seq가 확립한 일반적인 인코더-디코더 프레임워크, 즉 한 시퀀스를 다른 시퀀스로 매핑하는 방식은 요약에서 코드 생성에 이르는 작업의 기반이 되며 현대 자연어 처리에서 개념적으로 여전히 중심적이지만, 원래 아키텍처의 순환 구성 요소는 거의 전적으로 어텐션 기반 심층 학습 설계로 대체되었다.