"Attention Is All You Need"은 2017년에 구글에서 근무하던 여덟 명의 과학자와 엔지니어가 작성한 머신러닝에 관한 연구 논문이다. 이 논문은 2014년 Bahdanau 등이 제안한 어텐션 메커니즘을 기반으로 한 트랜스포머라는 새로운 딥러닝 아키텍처를 소개했다. 논문에서 설명하는 트랜스포머 접근 방식은 대규모 언어 모델을 포함한 다양한 인공지능 시스템의 주요 아키텍처가 되었다. 당시 연구의 초점은 기계 번역을 위한 Seq2seq 기술을 개선하는 것이었지만, 저자들은 논문에서 더 나아가 질문 응답 및 현재 멀티모달 생성형 AI로 알려진 작업과 같은 다른 작업에 대한 기술의 잠재력을 예견했다.
팀이 트랜스포머 아키텍처를 시도한 초기 사례 중 일부는 영어-독일어 번역, "트랜스포머"에 대한 위키백과 문서 생성, 구문 분석이었다. 이러한 사례들은 팀이 트랜스포머가 번역에만 좋은 것이 아니라 범용 언어 모델이라는 확신을 갖게 했다.
2026년 기준으로 이 논문은 25만 회 이상 인용되어 21세기 가장 많이 인용된 논문 상위 10위 안에 들었다. 논문이 구글에 의해 발표된 후, 여덟 명의 저자는 모두 회사를 떠나 다른 회사에 합류하거나 스타트업을 설립했다.
배경
이 논문의 저자는 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser, Illia Polosukhin이다. 여덟 명의 저자는 모두 논문에 "동등한 기여자"였으며, 나열된 순서는 무작위로 정해졌다(논문 자체에 따르면). 논문 이후 각 저자는 구글을 떠나 다른 회사에 합류하거나 스타트업을 설립했다.
논문 제목은 비틀즈의 노래 "All You Need Is Love"를 참조한 것이다. "트랜스포머"라는 이름은 논문 저자 중 한 명인 Jakob Uszkoreit이 그 단어의 소리를 좋아했기 때문에 선택되었다. 초기 설계 문서는 "Transformers: Iterative Self-Attention and Processing for Various Tasks"라는 제목이었으며, 트랜스포머 프랜차이즈의 여섯 캐릭터 삽화를 포함했다. 팀 이름은 Team Transformer였다.
논의되고 소개된 방법
이 논문은 대부분의 현대 대규모 언어 모델(LLM)의 기반이 되는 트랜스포머 아키텍처를 소개한 것으로 가장 잘 알려져 있다. 대부분의 현대 LLM이 이 아키텍처를 선호하는 주요 이유는 이전 아키텍처에 비해 병렬화가 가능하기 때문이다. 이는 훈련에 필요한 연산을 GPU에서 가속화할 수 있게 하여 더 빠른 훈련 시간과 더 큰 모델 크기의 훈련을 가능하게 한다.
이 논문은 트랜스포머 아키텍처 개발의 일부로 다음과 같은 메커니즘을 소개했다.
스케일드 닷-프로덕트 어텐션 및 셀프 어텐션
순환 신경망(RNN)이나 장단기 메모리(순환에 의존하는) 대신 스케일드 닷-프로덕트 어텐션 및 셀프 어텐션 메커니즘을 사용하면 다음 단락에서 설명하는 바와 같이 더 나은 성능을 얻을 수 있다. 논문은 스케일드 닷-프로덕트 어텐션을 다음과 같이 설명했다:
Attention(Query, Key, Value) := softmax(Query × Key^T / √d_k) × Value
여기서 Query, Key, Value는 각각 쿼리, 키, 값 행렬이고, d_k는 값의 차원이다.
모델이 동일한 소스(즉, 입력 시퀀스 또는 컨텍스트 창)에서 오는 Query, Key, Value 행렬에 의존하기 때문에 RNN의 필요성이 제거되어 아키텍처의 완전한 병렬화가 보장된다. 이는 2014년에 도입된 원래 형태의 어텐션 메커니즘과 다르다. 또한 논문은 키 벡터의 차원(논문에서 d_k로 표시되고 초기에 64로 설정됨)과 관련하여 가장 효과적인 것으로 밝혀진 추가 스케일링 요소의 사용을 위에 표시된 방식으로 논의한다.
논문이 초점을 맞춘 번역의 특정 맥락에서 Query 및 Key 행렬은 일반적으로 소스 언어에 해당하는 임베딩으로 표현되는 반면, Value 행렬은 대상 언어에 해당한다.
멀티-헤드 어텐션
셀프 어텐션 메커니즘에서 쿼리(Q), 키(K), 값(V)은 각 입력 시퀀스(일반적으로 컨텍스트 창 크기에 의해 제한됨)에 대해 동적으로 생성되어 모델이 다른 단계에서 입력 시퀀스의 다른 부분에 집중할 수 있게 한다. 멀티-헤드 어텐션은 여러 병렬 어텐션 헤드를 도입하여 이 프로세스를 향상시킨다. 각 어텐션 헤드는 Q, K, V 행렬의 다른 선형 투영을 학습한다. 이를 통해 모델은 단일 측면에 집중하는 대신 시퀀스에서 단어 간 관계의 다양한 측면을 동시에 포착할 수 있다.
이렇게 함으로써 멀티-헤드 어텐션은 모델이 다른 위치에서 다른 표현 하위 공간의 정보에 주의를 기울일 수 있게 한다. 논문은 헤드 수를 8로 설정했으며, 각 헤드는 축소된 차원(d_k = 64)을 가지므로 총 계산 비용은 단일 전체 차원 어텐션 헤드와 유사하다.
위치 인코딩
트랜스포머 아키텍처는 시퀀스에서 토큰의 순서를 본질적으로 포착하지 않기 때문에 논문은 위치 인코딩을 도입했다. 이는 각 토큰의 위치에 대한 정보를 제공하기 위해 입력 임베딩에 추가되는 벡터이다. 논문은 서로 다른 주파수의 사인 및 코사인 함수를 사용하여 모델이 상대적 위치에 따라 주의를 기울이는 법을 학습할 수 있게 했다. 이는 단어 순서가 중요한 번역과 같은 작업에 중요한 구성 요소였다.
기타 구성 요소
논문은 또한 딥러닝 커뮤니티에서 이미 알려진 몇 가지 다른 기술을 통합했다. 훈련을 안정화하기 위해 레이어 정규화를 사용했고, 정규화를 위해 Dropout을 사용했으며, 워밍업 단계와 감쇠를 포함한 사용자 지정 학습률 스케줄과 함께 Adam 옵티마이저를 사용했다. 아키텍처는 멀티-헤드 어텐션과 피드-포워드 네트워크의 스택 레이어를 가진 인코더-디코더 구조를 따랐으며, 각 하위 레이어 주위에 잔차 연결을 사용했다.
영향과 유산
이 논문에서 소개된 트랜스포머 아키텍처는 자연어 처리에서 빠르게 지배적인 접근 방식이 되었다. 이는 많은 응용 분야에서 순환 신경망을 대체하여 BERT 및 GPT와 같은 모델의 개발로 이어졌다. 이러한 모델들은 차례로 OpenAI, Anthropic, Google DeepMind와 같은 기관에서 개발된 대규모 언어 모델의 부상을 뒷받침했다. 아키텍처의 병렬화 가능성은 GPU 및 TPU와 같은 특수 하드웨어에서의 훈련에 특히 적합하여 모델을 전례 없는 규모로 확장할 수 있게 했다.
언어를 넘어 트랜스포머는 컴퓨터 비전, 오디오 처리, 심지어 단백질 접힘에도 적용되어 그 다재다능함을 입증했다. 이 논문의 영향은 2026년까지 25만 회를 초과한 인용 횟수에 반영되어 컴퓨터 과학 역사상 가장 많이 인용된 논문 중 하나가 되었다.
저자들의 이후 경력도 이 논문의 중요성을 강조한다. 구글을 떠난 후 그들은 AI21 Labs, Essential AI, Inceptive와 같은 회사를 포함한 다양한 AI 스타트업과 연구소를 설립하거나 합류하여 더 넓은 AI 생태계에 기여했다.
수용과 인정
이 논문은 처음에 캘리포니아주 롱비치에서 열린 2017년 신경 정보 처리 시스템 컨퍼런스(NeurIPS)에서 발표되어 최우수 논문상을 수상했다. 시퀀스 모델링의 우아한 단순화와 강력한 실증적 결과로 칭찬을 받았으며, 기존 순환 모델보다 더 빠른 훈련 시간으로 기계 번역 작업에서 최첨단 성능을 달성했다.
시간이 지남에 따라 이 논문은 딥러닝 분야의 기초 작업으로 인정받았다. 이는 잔차 네트워크 및 Adam 옵티마이저와 같은 다른 돌파구와 함께 인공지능 역사의 핵심 이정표로 자주 인용된다. "어텐션"이라는 용어 자체는 AI 연구의 중심 개념이 되었으며, 이후 수년간 수많은 확장과 변형이 제안되었다.
성공에도 불구하고 이 논문은 어텐션 메커니즘의 해석 가능성과 대규모 트랜스포머의 계산 비용에 대한 비판에 직면했으며, 이는 더 효율적인 아키텍처와 대체 어텐션 메커니즘에 대한 지속적인 연구로 이어졌다. 그럼에도 불구하고 트랜스포머는 2026년 현재 대부분의 최첨단 AI 시스템의 중추로 남아 있다.