Alexey Dosovitskiy는 딥러닝과 컴퓨터 비전 분야에 기여한 것으로 알려진 컴퓨터 과학자이자 연구자이다. 그는 2020년 논문 "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale"의 제1저자로 가장 잘 알려져 있으며, 이 논문은 비전 트랜스포머(ViT)를 소개했다. 이 연구는 자연어 처리에서 주로 사용되던 트랜스포머 구조가 충분히 큰 데이터셋으로 사전 학습되었을 때 이미지 분류 작업에서 최첨단 성능을 달성할 수 있음을 입증했다. Dosovitskiy는 구글 브레인에서 이 연구를 수행했으며, 그곳에서 트랜스포머를 시각적 영역으로 확장하는 작업을 했다.
Dosovitskiy의 학문적 배경으로는 프라이부르크 대학교에서 컴퓨터 과학 박사 학위를 취득했으며, 그곳에서 Thomas Brox 교수의 지도를 받았다. 그의 박사 연구는 합성 데이터로부터 시각적 표현을 학습하는 것과 비지도 학습에 초점을 맞췄으며, 이러한 주제들은 이후 ViT 연구에 영향을 주었다. 구글 브레인에 합류하기 전에는 인텔 랩과 막스 플랑크 지능 시스템 연구소에서 재직하며 광학 흐름(optical flow) 추정과 비디오 예측 연구에 기여했다.
비전 트랜스포머(ViT)
비전 트랜스포머 구조는 2020년 논문에서 Dosovitskiy와 그의 동료들(Lukasz Kaiser, Jakob Uszkoreit, Niki Parmar 등)에 의해 소개되었다. 이 구조는 이미지를 고정 크기의 패치들로 분할한 뒤, 각 패치를 평탄화하여 선형 투영을 통해 임베딩으로 변환하고, 위치 임베딩을 추가하여 공간 정보를 보존한다. 그 결과로 얻어진 시퀀스는 표준 트랜스포머 인코더에 입력되며, 셀프 어텐션 메커니즘을 통해 이미지 전역의 의존성을 포착한다. 이러한 설계는 지역적 수용 영역과 계층적 특징 추출에 의존하는 합성곱 신경망(CNN)과는 대조적이다.
논문은 ViT가 JFT-300M과 같은 대규모 데이터셋에서 사전 학습되었을 때 ImageNet과 같은 벤치마크에서 CNN 기반 아키텍처를 능가하면서도 학습에 필요한 계산 자원이 더 적다는 것을 보여주었다. 그러나 ViT는 작은 데이터셋에서 학습할 경우 CNN보다 낮은 성능을 보였으며, 이는 규모의 중요성을 강조했다. 이후 연구들은 데이터 증강 기법과 하이브리드 아키텍처를 통해 이러한 한계를 극복했고, ViT는 컴퓨터 비전 분야에서 널리 채택되었다.
컴퓨터 비전에 미친 영향
Dosovitskiy의 ViT 연구는 컴퓨터 비전 분야에 패러다임 전환을 가져왔다. ViT 이전에는 CNN이 이미지 분석의 사실상 표준이었지만, ViT의 성공은 어텐션 기반 모델이 CNN과 경쟁하거나 능가할 수 있음을 입증했다. 이는 Swin Transformer, DeiT, BEiT와 같은 다양한 트랜스포머 기반 비전 모델의 개발로 이어졌으며, 이들은 원래 아키텍처를 효율성과 성능 측면에서 개선했다.
ViT의 영향력은 이미지 분류를 넘어 객체 탐지, 세그멘테이션, 비디오 이해와 같은 작업으로 확장되었다. 또한 동일한 트랜스포머 백본이 시각과 언어 양쪽 모두에 사용될 수 있게 되면서, 시각-언어 모델의 통합을 촉진했다. 이러한 융합은 현대의 대규모 언어 모델과 생성형 AI 시스템에서 시각적 및 텍스트 정보를 결합하는 추세에 기여했다.
경력 및 연구 기여
ViT 논문 이후 Dosovitskiy는 트랜스포머의 확장과 효율성 개선에 관한 연구를 계속했다. 그는 임의의 양식을 잠재 병목 구조를 통해 처리할 수 있는 범용 아키텍처인 Perceiver 연구에 참여했으며, 다양한 벤치마크에서 강력한 성능을 보인 220억 파라미터 규모의 비전 트랜스포머인 ViT-22B 개발에도 기여했다. 그의 연구는 종종 규모와 데이터의 중요성을 강조했으며, 이는 구글 브레인에서의 머신 러닝 연구 방향과 일치했다.
Dosovitskiy는 또한 텐서 처리 장치(TPU)에 최적화된 학습 파이프라인 개발에 기여하여 대규모 모델의 효율적인 학습을 가능하게 했다. 그의 연구는 널리 인용되었으며, NeurIPS, ICML, CVPR과 같은 주요 학회에서 발표되었다. 2024년 현재 그는 계속해서 이 분야에서 연구 활동을 이어가고 있으며, 그의 소속과 프로젝트는 시간이 지나면서 변화해 왔다.
인정과 유산
ViT 논문은 현대 컴퓨터 비전의 기초 작업으로 간주되며 수천 회 인용되었다. 이 논문은 학계 연구와 산업 응용 모두에 영향을 미쳤다. Dosovitskiy의 기여는 2021년 MIT 테크놀로지 리뷰의 "35 Under 35" 목록에 선정되는 등 여러 상과 초청으로 인정받았다. 그의 연구는 자연어 처리와 컴퓨터 비전 간의 교차를 보여주는 사례로, 현대 AI 연구의 특징인 학제적 융합을 상징한다.
Dosovitskiy의 유산은 단일 아키텍처가 텍스트, 이미지 및 기타 데이터 유형을 처리할 수 있음을 입증한 데 있다. 이러한 아이디어는 GPT-4V와 같은 생성형 AI 시스템과 Google DeepMind의 Gemini와 같은 멀티모달 모델의 개발에 중심적인 역할을 했다. 그의 연구는 트랜스포머 기반 모델의 한계를 탐구하는 새로운 세대의 연구자들에게 지속적인 영감을 주고 있다.