트랜스포머는 다중 헤드 주의 메커니즘에 기반한 인공 신경망 구조의 한 계열로, 딥러닝에서 사용된다. 텍스트, 이미지, 오디오와 같은 입력 데이터는 토큰이라고 불리는 숫자 표현의 시퀀스로 변환되며, 각 토큰은 단어 임베딩 테이블을 통해 벡터로 매핑된다. 각 계층에서 모든 토큰은 병렬 다중 헤드 주의를 사용하여 컨텍스트 창 내에서 맥락화되며, 중요한 토큰은 증폭되고 덜 관련된 토큰은 축소된다. 자기 주의만으로는 순열 불변성이 있기 때문에, 트랜스포머는 위치 인코딩 또는 학습된 임베딩을 통해 위치 정보를 주입하여 토큰 순서가 출력에 영향을 미치게 한다.
트랜스포머는 순환 유닛이 없어 LSTM과 같은 초기 순환 구조보다 훈련 시간이 적게 필요하다. 현대 설계는 인코더 전용, 디코더 전용, 인코더-디코더 변형으로 그룹화되며, 표현 학습, 자동 회귀 생성, 또는 조건부 시퀀스-투-시퀀스 작업에 최적화된다. 원래 트랜스포머는 Google 연구자들이 2017년 논문 "Attention Is All You Need"에서 제안했다. 이후 이는 대규모 언어 모델(LLM)의 기초가 되었으며, 자연어 처리, 컴퓨터 비전, 강화 학습, 오디오, 다중 모달 학습, 로봇 공학, 체스에 응용되었다.
역사
전신
수년 동안 시퀀스 모델링은 Elman 네트워크(1990)와 같은 일반 순환 신경망(RNN)을 사용했다. 이론적으로 한 토큰의 정보는 임의로 멀리 전파될 수 있었지만, 기울기 소실 문제로 인해 긴 시퀀스에서 정확한 추출 가능한 정보가 부족했다. 주요 돌파구는 1995년 기술 보고서에 설명되고 1997년 공식적으로 출판된 LSTM으로, 기울기 소실을 완화하기 위한 게이팅 메커니즘을 도입했다. LSTM은 곱셈 게이팅 유닛을 사용했으며, 이는 개념적으로 덧셈 주의와 구별된다. 이는 2017년까지 긴 시퀀스 모델링의 표준이 되었지만, RNN은 토큰을 순차적으로 처리하여 병렬화를 방해했다. 선형 확장 빠른 가중치 컨트롤러(1992)는 입력에 기반한 가중치 행렬 계산을 학습했으며, 이는 비정규화 선형 트랜스포머와 동등하다.
seq2seq와 주의
인코더-디코더 시퀀스 변환은 2010년대 초에 발전했으며, 2014년 두 개의 동시 논문이 발표되었다. 3억 8천만 매개변수 모델은 기계 번역에 두 개의 LSTM을 사용했다. 인코더 LSTM은 토큰 시퀀스를 벡터로 변환하고, 디코더 LSTM은 이를 출력으로 변환했다. 또 다른 1억 3천만 매개변수 모델은 게이티드 순환 유닛(GRU)을 사용했으며, 이후 LSTM과 유사한 성능을 보이는 것으로 나타났다. 이러한 초기 seq2seq 모델은 주의가 없어 마지막 단어 이후 고정 크기 상태 벡터에 의존했으며, 긴 입력 정보를 제대로 보존하지 못했다. 입력 문장을 뒤집으면 번역이 개선되어 병목 현상이 강조되었다. RNN 검색 모델은 seq2seq에 주의를 도입하여 긴 의존성을 더 잘 처리할 수 있게 했다. 2016년 Google 번역은 Google 신경망 기계 번역으로 개편되어 8계층 양방향 LSTM seq2seq 모델을 사용했으며, 통계적 방법을 능가했다.
주의 병렬화
주의가 있는 seq2seq 모델은 여전히 순환 네트워크의 병렬화 어려움으로 인해 GPU 가속에 제한이 있었다. 2016년 분해 가능 주의는 피드포워드 네트워크에 자기 주의를 적용하여 더 적은 매개변수로 최첨단 텍스트 함의를 달성했다. 저자 Jakob Uszkoreit는 순환 없이 주의만으로 번역에 충분할 수 있다고 의심했으며, 이는 "Attention Is All You Need"라는 제목으로 이어졌다.
구조
트랜스포머 구조는 인코더와 디코더로 구성되며, 각각 다중 헤드 자기 주의와 위치별 피드포워드 네트워크를 가진 계층으로 이루어진다. 인코더는 입력 시퀀스를 병렬로 처리하고, 디코더는 마스크된 자기 주의를 사용하여 미래 토큰 누출을 방지하면서 자동 회귀적으로 출력을 생성한다. 다중 헤드 주의는 여러 주의 메커니즘을 병렬로 실행하여 모델이 다른 표현 부분 공간에 집중할 수 있게 한다. 위치 인코딩은 토큰 임베딩에 추가되어 순서를 포착한다. 계층 정규화와 잔차 연결은 훈련을 안정화한다. 디코더는 또한 교차 주의를 사용하여 인코더 출력에 주의를 기울인다.
변형
인코더 전용
BERT와 같은 인코더 전용 모델은 표현 학습에 최적화되어 있으며, 분류 및 이해 작업에 유용한 맥락화된 토큰 임베딩을 생성한다. 이들은 양방향 주의를 사용하여 왼쪽과 오른쪽 컨텍스트를 모두 본다.
디코더 전용
GPT와 같은 디코더 전용 모델은 자동 회귀 생성에 설계되어 이전 토큰이 주어졌을 때 다음 토큰을 예측한다. 이들은 마스크된 자기 주의를 사용하며, 대규모 텍스트 말뭉치에서 훈련된 대부분의 현대 LLM의 기초이다.
인코더-디코더
원래 트랜스포머와 같은 인코더-디코더 모델은 번역 및 요약과 같은 조건부 시퀀스-투-시퀀스 작업을 처리한다. 인코더는 소스를 처리하고 디코더는 대상을 생성한다.
응용
트랜스포머는 생성 AI 시스템에서 사용되며, GPT 및 BERT와 같은 LLM을 포함하고, 이는 OpenAI, Anthropic, Google DeepMind와 같은 기업에서 채택되었다. 이들은 자연어 처리, 컴퓨터 비전(비전 트랜스포머), 강화 학습, 오디오 처리, 다중 모달 학습, 로봇 공학, 심지어 체스 프로그램을 지원한다. 이들의 확장성은 AWS Trainium 및 Groq의 추론 프로세서와 같은 특수 칩으로 하드웨어 발전을 주도했다.
영향
트랜스포머는 인공 지능에 혁명을 일으켜 다양한 작업에 미세 조정할 수 있는 사전 훈련 시스템을 가능하게 했다. 이들은 RNN에 비해 훈련 시간을 줄이고 전례 없는 모델 크기를 허용하여 언어 이해 및 생성의 돌파구를 이끌었다. 이 구조의 유연성은 많은 AI 응용 프로그램의 기본 선택이 되었으며, 연구와 산업 모두에 영향을 미쳤다.
한계와 미래
성공에도 불구하고, 트랜스포머는 컨텍스트 길이에 따라 이차 계산이 필요하여 긴 시퀀스가 비용이 많이 든다. 연구자들은 이를 해결하기 위해 선형 주의 메커니즘과 대체 구조를 탐구하고 있다. 2025년 현재 트랜스포머는 여전히 지배적이지만, 지속적인 혁신으로 더 효율적인 설계가 나올 수 있다.