Ashish Vaswani는 컴퓨터 과학자이며, 2017년에 구글에서 작성된 일곱 명의 공동 저자가 있는 논문인 "Attention Is All You Need"의 주 저자이다. 이 논문은 거의 모든 현대 대규모 언어 모델의 기반이 되는 Transformer (architecture) 아키텍처를 도입했다.
트랜스포머 논문
Vaswani는 서던캘리포니아 대학교에서 컴퓨터 과학 박사 학위를 받았으며, 그곳에서 구글 브레인에 합류하기 전에 통계적 기계 번역 연구에 종사했다. 트랜스포머 논문의 주 저자로서, 그는 시퀀스 변환 모델이 순환 구조와 합성곱을 완전히 배제하고 오직 자기 주의 메커니즘에만 의존하여 시퀀스의 모든 위치 간 관계를 병렬로 모델링할 수 있다는 제안의 중심에 있었다. 결과적으로 나온 아키텍처는 대체한 순환 신경망보다 대규모로 훈련하기에 극적으로 더 효율적임이 입증되었으며, 훨씬 더 큰 모델의 사전 훈련을 직접적으로 가능하게 하여 BERT, GPT 시리즈, 그리고 이후 OpenAI, Anthropic, 구글 딥마인드가 출시한 사실상 모든 주요 모델의 기초가 되었다.
구글 이후
Vaswani는 2020년에 구글을 떠났다. 2022년에는 트랜스포머 공동 저자인 Niki Parmar 및 다른 전 구글 및 오픈AI 연구자들과 함께 Adept AI를 공동 창립했다. 이 스타트업은 소프트웨어 인터페이스 내에서 작업을 수행할 수 있는 AI 에이전트 구축에 초점을 맞추었으며, 2024년부터 2026년까지의 더 넓은 AI agent 및 Computer use (AI) 물결에 조기 진입한 기업이었다. Adept의 기술과 팀의 일부는 2024년 라이선스 및 인재 계약을 통해 아마존에 흡수되었으며, 이는 다른 대형 연구소들이 소규모 AI 스타트업을 인수할 때 사용한 구조와 유사하다.
Vaswani는 이후 Essential AI를 공동 창립했으며, 이는 엔터프라이즈 애플리케이션을 위한 기초 모델 연구에 초점을 맞춘 또 다른 스타트업으로, 그의 원래 트랜스포머 연구에서 직접 이어진 대규모 사전 훈련 연구를 계속 수행하고 있다.
영향력
해당 분야의 최근 역사에서 가장 많이 인용된 논문의 주 저자로서, Vaswani는 현대 생성형 AI 산업 전체의 설계자 중 한 명으로 널리 간주된다. Noam Shazeer와 Aidan Gomez를 포함한 이 논문의 여덟 명의 저자는 모두 결국 구글을 떠났으며, 이후 스타트업과 경쟁 연구소에 걸쳐 분산된 그들의 경력은 2017년 이후 트랜스포머 시대의 AI 인재가 얼마나 집중되고 이동성이 높아졌는지를 상징적으로 보여주는 사례로 자주 인용된다.