"Attention Is All You Need"은 2017년에 머신러닝에 관한 연구 논문으로, Google에서 근무하던 여덟 명의 과학자와 엔지니어가 저술했다. 이 논문은 2014년 Bahdanau 등이 제안한 어텐션 메커니즘을 기반으로 하는 트랜스포머라는 새로운 딥러닝 아키텍처를 소개했다. 논문에서 설명하는 트랜스포머 접근 방식은 대규모 언어 모델을 포함한 다양한 인공지능 시스템의 주요 아키텍처가 되었다. 당시 연구의 초점은 기계 번역을 위한 Seq2seq 기법을 개선하는 것이었지만, 저자들은 논문에서 더 나아가 질의응답 및 현재 다중 모드 생성형 AI로 알려진 작업과 같은 다른 작업에 대한 이 기법의 잠재력을 예견했다.
팀이 트랜스포머 아키텍처를 시험한 초기 사례 중 일부는 영어-독일어 번역, "트랜스포머"에 대한 위키백과 기사 생성, 구문 분석 등이었다. 이러한 사례들은 팀이 트랜스포머가 번역에만 좋은 것이 아니라 범용 언어 모델이라는 확신을 주었다. 2026년 현재, 이 논문은 25만 회 이상 인용되어 21세기 최다 인용 논문 상위 10위 안에 들어간다. 논문이 Google에 의해 발표된 후, 여덟 명의 저자 각각은 회사를 떠나 다른 회사에 합류하거나 스타트업을 설립했다.
배경
논문의 저자는 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser, Illia Polosukhin이다. 여덟 명의 저자는 모두 논문에 "동등한 기여자"였다. 순서는 (논문 자체에 따르면) 무작위로 지정되었다. 논문 이후 각 저자는 Google을 떠나 다른 회사에 합류하거나 스타트업을 설립했다.
논문 제목은 비틀즈의 노래 'All You Need Is Love'를 참조한 것이다. '트랜스포머'라는 이름은 논문의 저자 중 한 명인 Jakob Uszkoreit이 그 단어의 소리를 좋아했기 때문에 선택되었다. 초기 설계 문서는 'Transformers: Iterative Self-Attention and Processing for Various Tasks'라는 제목이었으며, 트랜스포머 프레젠테이션의 여섯 캐릭터 그림이 포함되어 있었다. 팀 이름은 Team Transformer였다.
논의 및 소개된 방법
이 논문은 대부분의 현대 대규모 언어 모델(LLM)을 뒷받침하는 트랜스포머 아키텍처를 소개한 것으로 가장 잘 알려져 있다. 대부분의 현대 LLM이 이 아키텍처를 선호하는 주요 이유는 아키텍처가 이전 모델보다 병렬화가 가능하기 때문이다. 이는 학습에 필요한 연산을 GPU에서 가속할 수 있어 학습 시간이 빨라지고 더 큰 크기의 모델도 학습할 수 있게 한다.
논문은 트랜스포머 아키텍처의 개발의 일환으로 다음과 같은 메커니즘을 소개했다.
스케일드 점곱 어텐션 및 셀프 어텐션
순환 신경망(RNN)이나 장단기 메모리(순환에 의존) 대신 스케일드 점곱 어텐션 및 자기 어텐션 메커니즘을 사용하면 다음 문단에서 설명하는 것과 같이 더 나은 성능을 얻을 수 있다. 논문은 스케일드 점곱 어텐션을 다음과 같이 설명했다:
주의(쿼리, 키, 값) := softmax(쿼리 × 키^T / sqrt(d_k)) × 값
여기서 쿼리, 키, 값은 각각 쿼리, 키, 값 행렬이고 d_k는 값의 차원이다. 모델이 쿼리, 키, 값 행렬을 동일한 출처(즉, 입력 시퀀스 또는 컨텍스트 창)에서 얻기 때문에 RNN의 필요성이 없어지며 아키텍처의 병렬화가 완전히 보장된다. 이는 2014년에 소개된 원래 형태의 어텐션 메커니즘과 다니다. 또한 논문은 위에 표시된 방식에서 키 벡터의 차원(여기서 d_k로 나타내며 초기 설정은 64)에 대해 가장 효과적이라는 추가 스케일링 요인의 사용에 대해 논의한다. 논문이 초점을 맞춘 번역이라는 특정 맥락에서, 쿼리와 키 행렬은 보통 소스 언어에 해당하는 임베딩으로 표현되는 반면, 값 행렬은 대상 언어에 해당한다.
멀티-헤드 어텐션
자기 어텐션 메커니즘에서 쿼리(Q), 키(K), 값(V)은 각 입력 시퀀스(일반적으로 컨텍스트 창 크기에 제한됨)에 대해 동적으로 생성되어, 모델이 입력 시퀀스의 다른 부분을 다른 단계에서 집중할 수 있게 한다. 다중-헤드 어텐션은 병렬적인 여러 어텐션 헤드를 도입함으로써 이 프로세스를 향상시킨다. 각 어텐션 헤드는 Q, K, V 행렬의 서로 다른 선형 투영을 학습한다. 이를 통해 모델은 단일 측면만 집중하는 것이 아닌 시퀀스 내 단어 간의 관계를 구성의 여러 측면을 동시에 포착한다. 이렇게 함으로써 모델은 서로 다른 표현 하위 공간의 정보를 서로 다른 위치에 어텐션을 줄 수 있으며, 복잡한 언어 패턴을 처리하는 능력이 향상됩니다.
위치 인코딩
논문은 아키텍처가 본질적으로 토큰을 순서대로 처리하지 않기 때문에 시퀀스에서 토큰의 위치 정보를 주입하기 위해 Positional Encoding을 소개했다. 저자는 주파수가 다른 사인과 코사인 함수를 사용하여 위치를 인코딩하여 모델이 상대적 위치를 학습할 수 있도록 제안했다. 이 메커니즘은 트랜스포머 기반 모델의 표준이 되었으며, 이후 변형에서는 학습된 임베딩이나 다른 접근 방식이 탐구되었다.
기타 혁신
논문은 또한 학습 안정화를 위해 Layer Normalization과 잔차 연결의 사용, 정규화를 위한 Dropout을 논했다. 이러한 구성 요소는 어텐션 메커니즘과 함께 트랜스포머 블록의 기반을 형성한다. 저자들은 기계 번역 작업에 모델을 학습시켰으며, 순환 모델보다 더 빠른 학습 시간으로 최고 교과서 성능을 달성했다.
영향 및 유산
발표 이후 트랜스포머 아키텍처는 자연어 처리에서 지배적인 접근 방식이 되었다. 이는 OpenAI, Google DeepMind, Anthropic과 같은 기관에서 개발한 주요 시스템, 특히 GPT와 BERT와 같은 대규모 언어 모델의 기반을 이루고 있다. 이 아키텍처는 텍스트를 넘어 컴퓨터 비전과 오디오 처리와 같은 분야에도 적용되었다. 논문의 영향은 인용 수에 반영되어 있으며 2026년 25만 회를 초과, 컴퓨터 과학 분사에서 가장 많이 인용된 작품 중 하나로 꼽힌다.
발표 직후 여덟 명의 저자 모두가 Google을 떠나게 되면서 Cohere와 Inceptive를 포함한 여러 AI 스타트업이 설립되고 트랜스포머 기반 기술의 상용화가 크게 기여했다. 논문의 제목(비튼즈 노래를 참조한)과 팀의 장난스러운 명명 규칙은 AI 전설의 일부가 되었다.