토론토 대학교(U of T)는 인공지능 연구, 특히 기계 학습과 심층 학습 분야의 주요 허브이다. 이 대학의 기여는 기초 알고리즘부터 현대 대규모 언어 모델의 구조에 이르기까지 현대 AI의 발전을 형성해 왔다. 이 대학은 AI에 초점을 맞춘 독립 연구 기관인 벡터 연구소와 긴밀한 관계를 유지하고 있으며, 교수진과 동문들은 학계와 산업계 전반에서 두드러진 활동을 하고 있다.
U of T의 연구는 신경망 이론, 생성형 AI, AI의 윤리적 영향 등 다양한 AI 주제를 포괄한다. 이 대학의 학제 간 접근 방식은 컴퓨터 과학자, 엔지니어, 도메인 전문가를 한데 모아 전 세계적으로 채택된 혁신을 촉진한다. 번성하는 기술 생태계를 갖춘 도시인 토론토에 위치한 이 대학은 산업 파트너와의 협업을 위한 충분한 기회를 제공한다.
역사적 기반
이 대학의 AI 유산은 1980년대, 당시 카네기 멜론 대학교 교수였던 제프리 힌턴이 신경망 연구를 계속하기 위해 U of T로 옮기면서 시작되었다. 힌턴의 역전파 및 분산 표현에 대한 연구는 현대 심층 학습의 토대를 마련했다. 2012년, 그의 팀은 대학원생 알렉스 크리제프스키와 일리야 수츠케버를 포함하여, ImageNet 대회에서 이전 방법들을 크게 능가하는 심층 합성곱 신경망인 AlexNet으로 이미지 인식의 돌파구를 달성했다. 이 사건은 현재의 AI 붐을 촉발한 것으로 널리 인정받고 있다.
벡터 연구소와 생태계
2017년, 벡터 연구소는 U of T와 긴밀한 연계를 바탕으로 토론토에 독립적인 비영리 연구 기관으로 설립되었다. 이 연구소는 최고의 AI 인재를 유치하고 유지하기 위해 캐나다 및 온타리오 정부와 산업 파트너의 지원을 받아 설립되었다. 연구소는 심층 학습과 기계 학습에 중점을 두며, 연구원들은 종종 U of T에서 겸임 직책을 맡는다. 이러한 협력은 삼성 리서치와 노키아 벨 연구소 같은 수많은 스타트업과 기업 연구소가 도시에 자리 잡은 활기찬 AI 생태계를 조성했다.
주요 연구 분야
U of T 연구원들은 여러 AI 하위 분야에 중요한 기여를 해 왔다. 심층 학습에서는 신경망 정규화를 위한 드롭아웃과 훈련 안정화를 위한 배치 정규화 같은 기술을 개발했다. 이 대학은 또한 매우 깊은 네트워크의 훈련을 가능하게 하는 잔차 네트워크와 자연어 처리를 위한 시퀀스-투-시퀀스 모델 연구로 잘 알려져 있다. 최근에는 많은 현대 대규모 언어 모델의 기반이 되는 트랜스포머 구조를 탐구하고 생성형 AI 모델 개발에 기여하고 있다.
주요 교수진과 동문
제프리 힌턴 외에도 U of T는 많은 영향력 있는 AI 연구자들의 본거지였다. 아론 쿠르빌은 교수이자 널리 사용되는 교과서 "딥 러닝"의 공동 저자이다. 사미 벤지오는 구글의 전 연구 과학자이자 현재 U of T 교수로, 시퀀스 학습과 적대적 예시 연구로 알려져 있다. 동문으로는 OpenAI의 공동 창립자인 일리야 수츠케버와 구글에서 트랜스포머 구조를 공동 발명한 야코프 우츠코레이트가 있다. 이들은 U of T의 연구 정신을 전 세계 주요 AI 조직으로 전파했다.
영향과 향후 방향
이 대학의 AI 연구는 산업과 사회에 깊은 영향을 미쳤다. 그 방법들은 애플, 구글 딥마인드, OpenAI의 제품에 사용되며, 졸업생들은 엔비디아와 아마존 웹 서비스 같은 기업에서 높은 수요를 받고 있다. U of T는 멀티-헤드 어텐션, 모델 가지치기, 데이터 증강에 대한 지속적인 연구를 통해 AI의 경계를 계속 넓히고 있다. 또한 이 대학은 편향과 공정성 같은 윤리적 과제를 해결하여 AI가 모든 사람에게 혜택을 주도록 하는 데 전념하고 있다.
앞으로 U of T는 학제 간 연구와 국제 협력을 촉진하여 리더십을 유지하는 것을 목표로 한다. 생성형 AI와 대규모 언어 모델의 부상과 함께, 이 대학은 더 효율적인 훈련 방법부터 과학과 의학의 새로운 응용에 이르기까지 차세대 AI 혁신에 기여할 좋은 위치에 있다.