야코프 우슈코라이트(Jakob Uszkoreit)는 딥러닝과 대규모 언어 모델에 대한 기초적 공헌으로 인정받는 컴퓨터 과학자이자 기업가이다. 그는 2017년 논문 "Attention Is All You Need"의 공동 저자로 가장 잘 알려져 있으며, 이 논문은 대부분의 현대 생성형 AI 시스템의 기반이 되는 트랜스포머 아키텍처, 즉 신경망 설계를 도입했다. 2022년에는 RNA 생물학과 신약 개발에 머신러닝을 적용하는 회사인 Inceptive를 공동 설립했다.
우슈코라이트의 연구는 인공지능 연구와 실제 응용을 연결한다. 구글 (특히 Google Research 및 Google Brain 내)에서의 그의 연구는 시퀀스 모델링과 어텐션 메커니즘에 초점을 맞췄으며, 이는 자연어 처리를 혁신한 트랜스포머 아키텍처로 이어졌다. 이후의 기업가적 벤처인 Inceptive는 이러한 AI 기술을 생물학적 분자 설계로 확장하여 과학적 발견에 머신러닝을 적용하는 더 넓은 추세를 반영한다.
초기 생애 및 교육
우슈코라이트는 독일에서 태어나 학문적 환경에서 성장했다. 그의 아버지 한스 우슈코라이트(Hans Uszkoreit)는 전산 언어학자이다. 그는 토론토 대학교에서 컴퓨터 과학 학부 과정을 밟았으며, 그곳에서 초기 머신러닝 연구에 접했다. 이후 스탠포드 대학교 AI 연구소 (스탠포드 대학교)에서 컴퓨터 과학 박사 학위를 취득했으며, 박사 연구는 기계 번역과 시퀀스-투-시퀀스 모델에 초점을 맞췄다.
스탠포드 재학 중 우슈코라이트는 당시 통계적 구문 기반 방법의 대안으로 부상하던 신경망 기계 번역 시스템을 개선하는 작업을 했다. 그의 논문은 시퀀스의 장거리 의존성을 효율적으로 모델링하는 방법을 탐구했으며, 이는 이후 트랜스포머 아키텍처의 핵심이 되는 문제였다.
구글에서의 경력
우슈코라이트는 2012년 Google Research에 합류하여 처음에는 자연어 이해와 기계 번역 작업을 했다. 그는 Google Brain 팀의 일원이 되어 리온 존스, 루카시 카이저, 니키 파르마르 등의 연구자들과 협력했다. 구글에서의 초기 작업은 번역을 위한 순환 신경망(RNN) 모델 개발이었지만, 그는 이러한 모델의 계산 비효율성과 병렬화의 어려움에 좌절감을 느꼈다.
2017년, 우슈코라이트와 동료들은 "Attention Is All You Need" 논문을 발표하여 순환 및 합성곱 계층을 완전히 자기 어텐션 메커니즘으로 대체할 것을 제안했다. 배럿 조프 등도 기여자로 포함된 이 논문은 트랜스포머가 번역 작업에서 최첨단 결과를 달성하면서도 훈련 속도가 훨씬 빠르다는 것을 입증했다. 이 작업은 이후 트랜스포머의 인코더-디코더 구조를 기반으로 하는 BERT 및 GPT와 같은 모델의 토대를 마련했다.
구글에서 우슈코라이트는 트랜스포머 확장과 효율성 개선 작업을 계속했다. 그는 희소 어텐션과 모델 병렬화 연구에 기여하여 더 큰 모델의 훈련을 가능하게 했다. 또한 이미지 및 오디오 처리를 포함한 비텍스트 영역에 트랜스포머를 적용하는 작업도 했지만, 그의 주요 초점은 시퀀스 모델링에 남아 있었다.
트랜스포머 논문과 그 영향
NeurIPS 학회에서 발표된 2017년 트랜스포머 논문은 멀티헤드 어텐션, 위치 인코딩, 완전 어텐션 기반 아키텍처와 같은 몇 가지 핵심 혁신을 도입했다. 시퀀스를 순차적으로 처리하던 이전의 순환 신경망과 달리, 트랜스포머는 모든 토큰을 병렬로 처리하여 TSMC 제조 GPU와 같은 현대 하드웨어에서 엄청난 속도 향상을 가능하게 했다. 이러한 병렬성은 이후 대규모 모델 훈련에 결정적이었다.
이 논문의 영향은 즉각적이고 광범위했다. 몇 년 안에 트랜스포머는 자연어 처리 작업의 기본 아키텍처가 되어 RNN과 합성곱 신경망을 대체했다. 또한 컴퓨터 비전(비전 트랜스포머 포함)과 생물정보학을 포함한 다른 분야에도 영향을 미쳤다. 우슈코라이트의 구체적인 기여는 시퀀스 인코딩에 자기 어텐션을 사용하는 아이디어였으며, 이는 그가 이전에 구글 내부 연구에서 탐구했던 것이다.
Inceptive 설립
2022년, 우슈코라이트는 딥러닝을 사용하여 mRNA 백신 및 치료제와 같은 RNA 분자를 설계하는 것을 목표로 Inceptive를 공동 설립했다. 이 회사는 트랜스포머 유사 모델을 적용하여 RNA 서열의 구조와 기능을 예측하고, 새로운 생물학적 제제를 창출할 수 있게 한다. Inceptive는 안드레센 호로위츠와 엔비디아를 포함한 투자자들로부터 상당한 자금을 유치했으며, 이는 AI와 생명공학의 교차점이 커지고 있음을 반영한다.
Inceptive에서 우슈코라이트는 CEO로 재직하며 연구자와 엔지니어 팀을 이끌고 있다. 이 회사의 접근 방식은 RNA 서열과 그 특성에 대한 대규모 데이터 세트로 모델을 훈련한 다음, 이 모델을 사용하여 신약 개발을 위한 후보 분자를 생성하는 것이다. 이 작업은 백신, 유전자 치료, 맞춤형 의학에 잠재적 응용이 있다.
기타 공헌 및 인정
트랜스포머 논문 외에도 우슈코라이트는 머신러닝과 자연어 처리에 관한 수많은 논문을 발표했다. 그는 주요 학회의 초청 연사로 활동했으며 NeurIPS 및 ICML의 프로그램 위원회에서 활동했다. 그의 연구는 수만 번 인용되어 이 분야에서 가장 영향력 있는 연구자 중 한 명이 되었다.
우슈코라이트는 또한 AI를 더 효율적이고 접근 가능하게 만드는 노력에 참여했다. 그는 대규모 모델 훈련의 환경 비용에 대해 언급하고 더 효율적인 아키텍처를 옹호했다. 희소 어텐션 및 혼합 전문가 모델에 대한 그의 연구는 계산 요구 사항을 줄이는 데 기여했다.
개인 생활 및 대중 참여
우슈코라이트는 협력적이고 개방적인 연구 접근 방식으로 알려져 있다. 그는 구글과 Inceptive에서 많은 후배 연구자들을 멘토링했다. 인터뷰에서 그는 학제 간 작업, 특히 AI를 생물학과 의학에 적용하는 것의 중요성을 강조했다. 그는 학술 플랫폼에서 활발히 활동하며 때때로 AI 정책과 윤리에 대해 글을 쓴다.
성공에도 불구하고 우슈코라이트는 상업적 과대광고보다는 과학적 도전에 집중하고 있다. 그는 AI의 잠재력과 위험을 모두 언급하며 미래에 대해 신중한 낙관론을 표명했다. Inceptive에서의 그의 작업은 AI가 긴급한 글로벌 건강 문제를 해결할 수 있다는 믿음을 반영한다.
유산 및 향후 방향
우슈코라이트가 공동 창조한 트랜스포머 아키텍처는 오픈AI의 GPT 시리즈부터 앤트로픽의 클로드에 이르는 시스템을 구동하는 현대 AI의 중추가 되었다. 그 영향은 기술 기업을 넘어 학술 연구와 정부 연구소로 확장된다. RNA 생물학에서의 우슈코라이트의 후속 작업은 AI 기반 설계가 의학을 변화시킬 수 있는 새로운 개척지를 시사한다.
2024년 현재, Inceptive는 제약 산업과의 초기 파트너십을 통해 플랫폼을 계속 개발하고 있다. 우슈코라이트의 경력은 기초 연구에서 응용 혁신으로의 궤적을 예시하며, 그의 공헌은 수십 년 동안 연구될 가능성이 높다.
같이 보기
참고 문헌
- Vaswani, A., et al. (2017). "Attention Is All You Need." NeurIPS.
- Inceptive 공식 웹사이트 및 보도 자료.
- Jakob Uszkoreit의 Google Research 간행물.