트랜스포머는 2017년에 도입된 신경망 아키텍처로, 어텐션 메커니즘을 사용하여 텍스트와 같은 순차 데이터를 처리한다. 이는 이전 모델들이 사용하던 단계별 순환(recurrence) 방식 대신, 전체 시퀀스를 병렬로 처리할 수 있게 한다. 트랜스포머는 사실상 모든 현대 대규모 언어 모델의 기반이 되었으며, 이미지, 오디오 및 기타 데이터 유형에도 적용되도록 확장되었다.
역사
트랜스포머 이전에는 기계 번역과 같은 작업을 위한 시퀀스 모델링이 주로 순환 신경망에 의존했다. 여기에는 Seq2seq 인코더-디코더 모델이 포함되었는데, 이들은 입력 토큰을 하나씩 처리하므로 병렬화에 어려움을 겪었고 긴 시퀀스에 걸쳐 정보를 유지하는 데도 한계가 있었다. 트랜스포머는 2017년 논문 “Attention Is All You Need”에서 아시시 바스와니와 노암 샤지어를 포함한 연구진에 의해 소개되었으며, 이들은 순환을 완전히 배제하고 자기 어텐션(self-attention)만을 사용할 것을 제안했다. 논문의 저자 8명 모두 이후 해당 연구가 수행된 회사를 떠나 다른 AI 기업을 설립하거나 합류했는데, 이는 단일 연구 논문으로서는 이례적인 결과였다.
아키텍처
트랜스포머는 입력 시퀀스를 토큰화와 임베딩을 통해 벡터 표현으로 변환한 다음, 자기 어텐션 레이어를 반복적으로 적용하여 각 위치가 시퀀스 내 다른 모든 위치의 관련성을 가중치로 반영할 수 있게 한다. 여기에 간단한 피드포워드 레이어가 함께 사용된다. 자기 어텐션에는 순서 개념이 내재되어 있지 않으므로, 트랜스포머는 입력 표현에 위치 정보를 추가한다. 병렬로 실행되는 여러 개의 어텐션 "헤드"는 모델이 서로 다른 유형의 관계를 동시에 포착할 수 있게 한다. 원래 아키텍처는 별도의 인코더와 디코더로 구성되었지만, 대부분의 현대 대규모 언어 모델은 디코더 전용 변형을 사용하며, 이는 이전에 생성된 모든 토큰을 기반으로 한 번에 하나씩 텍스트를 생성한다.
영향
트랜스포머의 병렬 처리 능력 덕분에 모델은 순환 신경망이 허용했던 것보다 훨씬 더 큰 데이터셋과 더 많은 파라미터로 학습될 수 있었다. 이는 2018년의 BERT부터 GPT-3와 그 이후 모델에 이르기까지, 규모 중심의 발전을 직접적으로 가능하게 했다. 자기 어텐션 메커니즘은 원칙적으로 시퀀스로 표현될 수 있는 모든 데이터에 적용 가능하므로, 이미지 처리에도 적응되어 비전 트랜스포머(vision transformer)를 탄생시켰고, 현대 비전-언어 모델에서 사용되는 결합된 텍스트-이미지 시스템으로도 확장되었다.
변형 및 대안
자기 어텐션의 계산 비용은 시퀀스 길이에 따라 제곱으로 증가하므로, 효율성에 초점을 맞춘 다양한 변형 아키텍처와 완전히 다른 대안들이 제안되었다. 전문가 혼합(MoE) 모델은 주어진 입력에 대해 트랜스포머 파라미터의 일부만 활성화하여 모델 크기 대비 계산 비용을 줄인다. 상태 공간 모델은 2023년에 도입된 Mamba 아키텍처와 같은 접근법으로, 시퀀스 길이에 따라 선형적으로 확장되는 대안을 제공한다. 그러나 2020년대 중반 기준으로도 이러한 모델들은 최첨단 언어 모델의 지배적인 아키텍처로서 트랜스포머를 대체하지는 못했다.