"Attention Is All You Need"는 2017년에 Google에서 근무하던 여덟 명의 과학자와 엔지니어가 작성한 기계 학습에 관한 연구 논문이다. 이 논문은 2014년 Bahdanau等人이 제안한 attention 메커니즘에 기반한 트랜스포머라는 새로운 딥러닝 아키텍처를 소개했다. 트랜스포머 접근 방식은 대규모 언어 모델을 포함한 다양한 인공지능 시스템의 주요 아키텍처가 되었다. 당시 연구는 기계 번역을 위한 sequence-to-sequence 기술 개선에 초점을 맞췄지만, 저자들은 질문 응답 및 현재 멀티모달 생성형 AI로 알려진 분야와 같은 다른 작업에 대한 기술의 잠재력을 예견했다.
트랜스포머 아키텍처에 대한 초기 실험에는 영어-독일어 번역, "The Transformer"에 대한 위키백과 문서 생성, 구문 분석이 포함되었다. 이러한 테스트를 통해 팀은 트랜스포머가 번역 전용이 아닌 범용 언어 모델임을 확신하게 되었다. 2026년 기준으로 이 논문은 250,000회 이상 인용되어 21세기 가장 많이 인용된 논문 상위 10위 안에 들었다. 출판 이후, 여덟 명의 저자 모두 Google을 떠나 다른 회사에 합류하거나 스타트업을 설립했다.
배경
저자는 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser, Illia Polosukhin이다. 여덟 명 모두 동등한 기여자였으며, 나열된 순서는 무작위로 정해졌다. 제목은 비틀즈의 노래 "All You Need Is Love"에서 따왔다. "Transformer"라는 이름은 Jakob Uszkoreit가 그 단어의 발음을 좋아했기 때문에 선택되었다. 초기 설계 문서의 제목은 "Transformers: Iterative Self-Attention and Processing for Various Tasks"였으며, 트랜스포머 프랜차이즈의 여섯 캐릭터 삽화가 포함되어 있었다. 팀 이름은 Team Transformer였다.
소개된 방법
이 논문은 대부분의 현대 LLM의 기반이 되는 트랜스포머 아키텍처를 도입한 것으로 가장 잘 알려져 있다. 선호되는 주요 이유는 이전 아키텍처보다 병렬화가 가능하여 GPU에서 훈련을 가능하게 하고, 훈련 시간을 단축하며 더 큰 모델을 허용하기 때문이다. 이 논문은 여러 메커니즘을 소개했다.
스케일드 닷-프로덕트 어텐션 및 셀프 어텐션
이 논문은 스케일드 닷-프로덕트 어텐션을 다음과 같이 설명했다: Attention(Query, Key, Value) = softmax(Query × Key^T / sqrt(d_k)) × Value, 여기서 Query, Key, Value는 행렬이고 d_k는 키의 차원(초기값 64)이다. 순환 신경망(RNN)이나 장단기 메모리(LSTM) 대신 셀프 어텐션을 사용하면 순환성을 제거하여 병렬화를 보장한다. 번역에서 Query와 Key 행렬은 일반적으로 소스 언어 임베딩에 해당하고, Value는 대상 언어에 해당한다.
멀티-헤드 어텐션
셀프 어텐션에서 쿼리, 키, 값은 각 입력 시퀀스에 대해 동적으로 생성되어 모델이 다른 부분에 집중할 수 있게 한다. 멀티-헤드 어텐션은 여러 병렬 어텐션 헤드를 도입하며, 각 헤드는 Q, K, V의 서로 다른 선형 투영을 학습한다. 이를 통해 모델은 단어 관계의 다양한 측면을 동시에 포착할 수 있다.
위치 인코딩
트랜스포머에는 순환성이 없기 때문에, 이 논문은 시퀀스에서 토큰의 위치 정보를 주입하기 위해 위치 인코딩을 도입했다. 이러한 인코딩은 입력 임베딩에 추가되어 모델이 순서 정보를 사용할 수 있게 한다.
영향 및 유산
트랜스포머 아키텍처는 OpenAI, Anthropic, Google DeepMind가 개발한 모델을 포함한 대부분의 현대 대규모 언어 모델의 기반이 되었다. 그 병렬화 및 확장성은 생성형 AI 및 기타 분야의 발전을 주도했다. 이 논문의 영향력은 인용 횟수에 반영되어 21세기 가장 많이 인용된 논문 중 하나가 되었다.
이후
논문 출판 후, 여덟 명의 저자 모두 Google을 떠났다. 일부는 Aidan Gomez(Cohere)와 Noam Shazeer(Character.AI, 이후 Google 복귀)처럼 스타트업을 설립했다. 다른 이들은 NVIDIA나 Intel 같은 회사에 합류했다. 그들의 이탈은 트랜스포머 기반 연구가 업계 전반에 확산되는 데 기여했다.