Llion Jones는 웨일스 출신의 머신러닝 연구자이자 기업가이다. 그는 2017년 논문 "Attention Is All You Need"의 공동 저자로 가장 잘 알려져 있으며, 이 논문은 현대 대규모 언어 모델의 기반이 되는 트랜스포머 아키텍처를 도입했다. 2023년에는 자연에서 영감을 받은 AI에 초점을 맞춘 도쿄 기반 스타트업인 Sakana AI를 공동 창업했으며, 현재 최고 기술 책임자(CTO)로 재직 중이다.
Jones는 1984년 웨일스 뱅거에서 태어나 그위네드의 뱅거와 아베르기놀윈에서 성장했다. 그는 Coleg Meirion-Dwyfor를 다닌 후 버밍엄 대학교에서 인공지능 및 컴퓨터 과학 학사 학위를, 이어서 고급 컴퓨터 과학 석사 학위를 취득했다. 그는 2009년에 졸업했다.
초기 경력과 Google
졸업 후 Jones는 2011년 또는 2012년에 Google의 YouTube 부서에 소프트웨어 엔지니어로 합류했다. 2015년에는 Google Research로 전환하여 머신 인텔리전스와 자연어 처리 분야에서 일했다. Google Research에서의 그의 작업은 인공지능 분야에서 가장 영향력 있는 논문 중 하나를 탄생시킬 팀의 중심에 그를 위치시켰다.
트랜스포머 논문
2017년, Jones는 Jakob Uszkoreit, Lukasz Kaiser, Niki Parmar, Barret Zoph 등과 함께 "Attention Is All You Need"를 공동 저술했다. 이 논문은 순환 또는 합성곱 계층이 아닌 전적으로 자기 주의 메커니즘에 의존하는 트랜스포머 아키텍처를 도입했다. 이 설계는 더 효율적인 병렬 처리를 가능하게 했고 시퀀스-투-시퀀스 작업에서 성능을 크게 향상시켰다. 트랜스포머는 이후 BERT, GPT 및 기타 대규모 언어 모델을 포함한 AI 시스템의 기반이 되었으며, 머신러닝 및 딥러닝 연구에서 널리 채택되었다.
AI 연구 초점에 대한 비판
Jones는 AI 연구의 좁은 범위에 대해 목소리를 높여 왔으며, 특히 다른 접근 방식을 희생하면서 대규모 언어 모델에 대한 Google의 과도한 집중을 비판했다. 그는 언어 모델 확장에 대한 집중이 대체 아키텍처와 학습 패러다임의 탐구를 제한했다고 주장했다. 이러한 관점은 자연 시스템과 집단 지능에서 영감을 얻고자 하는 Sakana AI에서의 그의 이후 작업에 영향을 미쳤다.
Sakana AI 창업
2023년, Jones는 Google Japan을 떠나 전 Google 연구원이자 Stability AI 임원이었던 David Ha와 함께 Sakana AI를 공동 창업했다. 그들은 Ren Ito와 합류했다. 회사 이름인 "Sakana"는 일본어로 "물고기"를 의미하며, 자연 유기체의 적응적이고 집단적인 행동을 모방하는 AI를 개발하겠다는 사명을 반영한다. Sakana AI는 군집 지능과 진화 알고리즘과 같은 원리를 활용하여 더 효율적이고 유연한 AI 시스템을 만드는 것을 목표로 한다. Jones는 최고 기술 책임자 역할을 맡아 기술 방향과 연구 전략을 총괄했다.
영향과 인정
트랜스포머 논문에 대한 Jones의 기여는 인공지능 분야에 지속적인 영향을 미쳤다. 그가 만드는 데 도움을 준 아키텍처는 OpenAI의 GPT 시리즈, Google DeepMind의 언어 모델, 다양한 생성형 AI 애플리케이션을 포함한 가장 prominent한 AI 제품과 서비스의 기반이 된다. 그의 작업은 학술 문헌에서 광범위하게 인용되었으며 자연어 처리 외에도 컴퓨터 비전 및 오디오 처리 분야의 신경망 개발에 영향을 미쳤다.
개인 생활과 관심사
Jones는 AI와 생물학의 교차점에 대한 관심으로 알려져 있으며, 자연 시스템과 계산 모델 사이의 유사점을 자주 지적한다. 그는 학제 간 연구의 중요성과 살아있는 유기체의 효율성과 적응성에서 영감을 받을 수 있는 AI의 잠재력에 대해 이야기해 왔다. 그의 웨일스 유산과 시골 그위네드에서의 성장은 기술과 커뮤니티에 대한 그의 관점을 형성했다고 인터뷰에서 언급된 바 있다.
이후 발전
2025년 현재, Sakana AI는 대안적 AI 패러다임에 관심이 있는 투자자와 연구자들의 주목을 받으며 계속 성장하고 있다. Jones는 AI 커뮤니티에서 활발히 활동하며 분야의 미래에 대한 논의에 기여하고 대규모 언어 모델을 넘어선 더 넓은 연구 의제를 옹호하고 있다. Sakana AI에서의 그의 작업은 자원이 제한된 환경에서 효율적으로 작동할 수 있는 더 작고 적응력 있는 모델에 초점을 맞춘 주류 접근 방식에서의 중요한 이탈을 나타낸다.
유산
Jones와 그의 동료들이 도입한 트랜스포머 아키텍처는 AI 연구의 전환점으로 묘사되며, 머신러닝 및 딥러닝의 돌파구를 가능하게 했다. 그 영향력은 Google DeepMind, OpenAI, Anthropic과 같은 주요 기술 기업과 연구 기관, 그리고 Stanford AI Lab 및 MIT CSAIL과 같은 학술 연구소로 확장된다. 이 발전에서의 Jones의 역할과 이후의 기업가적 노력은 그를 인공지능의 지속적인 진화에서 주목할 만한 인물로 자리매김하게 한다.
참고 문헌
- "Attention Is All You Need" (2017) - Vaswani et al.
- Sakana AI 공식 웹사이트 및 보도 자료
- Llion Jones의 인터뷰 및 공개 강연