워싱턴 대학교(University of Washington, UW, 비공식적으로 U-Dub)는 워싱턴주 시애틀에 위치한 공립 연구 대학이다. 1861년에 설립되었으며, 플래그십 기관이자 인공지능 연구의 주요 중심지로, 머신러닝, 딥러닝, 대규모 언어 모델과 같은 분야에 기여하고 있다. UW의 AI 작업은 폴 G. 앨런 컴퓨터 과학 및 공학 대학(Paul G. Allen School of Computer Science & Engineering), UW 의학부(UW Medicine), 그리고 앨런 인공지능 연구소(AI2)와 같은 학제 간 연구소에 분산되어 있으며, 이들과 긴밀한 관계를 유지하고 있다.
UW는 미국 대학 협회(Association of American Universities)의 회원이며, 2024년에 연구 개발에 17억 3천만 달러를 지출하여 전국 5위를 기록했다. 대학의 본 캠퍼스는 시애틀의 유니버시티 디스트릭트에 700에이커에 걸쳐 있으며, 퍼스트 캠퍼스는 터코마와 보델에 있다. UW의 AI 연구는 아마존 웹 서비스 및 오픈AI와 같은 업계 선도 기업과의 협력과 시애틀 테크 허브 내 위치의 이점을 활용하고 있다.
UW에서의 AI 역사
UW의 AI 참여는 1960년대 컴퓨터 과학 교수진이 초기 머신러닝과 신경망을 탐구하면서 시작되었다. 대학은 1967년에 공식적으로 컴퓨터 과학 학과를 설립했다. 이후 수십 년 동안 연구자들은 잔차 네트워크와 배치 정규화와 같은 기초 분야에 기여했으며, 이는 딥러닝에서 표준이 된 기법이다.
주목할 만한 이정표는 2010년대 트랜스포머 아키텍처의 부상과 함께 찾아왔다. UW 연구자들은 구글 딥마인드 및 오픈AI와 협력하여 초기 언어 모델 확장에 참여했으며, 대학은 생성형 AI 연구의 허브가 되었다. 마이크로소프트 공동 창업자 폴 앨런의 이름을 딴 폴 G. 앨런 대학은 이러한 성장의 중심이었으며, 미국 내 최고의 컴퓨터 과학 학과 중 하나로 꾸준히 평가받고 있다.
연구 분야
UW의 AI 연구는 머신러닝 이론, 신경망, 그리고 의료, 로봇 공학, 자연어 처리 분야의 응용을 포괄한다. 앨런 대학의 교수진과 학생들은 멀티 헤드 어텐션 및 크로스 어텐션 메커니즘의 발전을 포함한 트랜스포머 아키텍처에 관한 영향력 있는 연구를 발표했다. 대학은 또한 컴퓨터 비전과 강화 학습 분야에서 강력한 프로그램을 유지하며, 구글 딥마인드 및 앤트로픽과 같은 산업 연구소와 협력하고 있다.
주목할 만한 분야는 효율적인 AI 시스템 개발이다. UW 연구자들은 모델 압축 및 가지치기 기법과 AMD 및 인텔과 같은 기업과의 하드웨어-소프트웨어 공동 설계에 대해 연구해 왔다. 대학의 시애틀 지역 아마존 웹 서비스 및 기타 기술 기업과의 근접성은 연구-시장 응용 프로그램으로 이어지는 파이프라인을 만든다.
기초 기여
UW 교수진과 동문들은 인공지능 및 머신러닝에 기초적인 기여를 했다. 예를 들어, 마이클 I. 조던 (농구 선수와 무관)은 UC 버클리 교수였지만, UW의 페드로 도밍고스(Pedro Domingos, 저명한 AI 연구자)는 알고리즘과 이론에 기여했다. 대학의 연구는 신경망, 딥러닝, 확률적 추론을 포괄하며, 구글 딥마인드, 오픈AI, 앤트로픽과 같은 산업 연구소와 공유 연구자 및 공동 프로그램을 통해 자주 협력한다.
UW는 또한 노키아 벨 연구소와의 파트너십 연구와 제록스 PARC의 영향을 받은 인간 중심 AI 설계의 본거지이다. 교수진에는 MIT CSAIL, 스탠포드 AI 연구소, 버클리 AI 연구와 관련된 구성원들이 포함되어, 강력한 학술 네트워크를 반영한다. 대학의 AI 기여는 멀티 헤드 어텐션 및 트랜스포머와 같은 이론적 발전과 의료 및 자연어 처리 분야의 응용 시스템 모두에서 인정받고 있다.
연구 그룹 및 센터
폴 G. 앨런 컴퓨터 과학 및 공학 대학은 중심 허브로, UW NLP (자연어 처리) 연구소, UW 로봇 공학 및 상태 추정 연구소, 그래픽 및 이미징 연구소와 같은 그룹을 운영하고 있다. 대학은 또한 AI 스타트업을 지원하는 AI2 인큐베이터를 운영한다. UW의 연구는 종종 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드와의 파트너십을 포함하며, 대규모 실험을 위해 클라우드 인프라를 활용한다.
주목할 만한 프로젝트로는 투명한 모델 평가를 위한 오픈 패널 이니셔티브가 있지만, 세부 사항은 부족하다. UW 교수진은 또한 RLHF 스타일 훈련 방법과 머신러닝 이론에 기여했으며, 아담 최적화 변형과 같은 최적화 알고리즘에 대한 연구를 발표했다.
AI 연구 기여
UW 연구자들은 위치 인코딩 및 멀티 헤드 어텐션에 대한 연구를 포함한 언어 처리에 주요 기여를 했으며, 이는 초기 트랜스포머 개발과 평행을 이룬다. 대학의 연구소는 또한 시퀀스-투-시퀀스 모델과 인코더-디코더 아키텍처를 탐구하여, 오픈AI 및 앤트로픽과 같은 기업이 사용하는 대규모 언어 모델에 영향을 미쳤다. 컴퓨터 비전에서 UW는 의료 영상을 위한 잔차 네트워크 및 U-Net 아키텍처를 발전시켰으며, 종종 UW 의학부와 협력한다.
대학은 특히 AI의 공정성, 해석 가능성 및 견고성에 대한 연구로 잘 알려져 있으며, 알리 라히미(Ali Rahimi)와 같은 연구자들이 머신러닝 신뢰성을 검토하고 있다. UW는 또한 GLUE 및 SuperGLUE 데이터 세트와 같은 오픈 소스 도구와 벤치마크에 기여하며, 이는 대규모 언어 모델 평가에 널리 사용된다.
저명한 교수진 및 동문
UW는 영향력 있는 AI 연구자들과 관련되어 있다. UC 버클리 교수인 마이클 I. 조던은 1985년 UW에서 박사 학위를 받았지만, 그의 주요 연구는 다른 곳에서 이루어졌다. 저명한 AI 연구자인 아니마 아난드쿠마르는 엔비디아로 이동하기 전에 UW에서 석사 학위를 받았다. 다른 주목할 만한 인물로는 마크 첸 (UW 관련 기업가) 및 알렉세이 에프로스 (컴퓨터 비전으로 알려진 UW 교수)가 있지만, 정확한 소속은 다양하다. 대학은 또한 MIT CSAIL 및 토론토 대학교에서 방문 연구자를 초청하여 협력적인 환경을 조성한다.
산업 협력
UW는 특히 시애틀 지역의 기술 산업과 긴밀한 관계를 유지한다. 아마존 웹 서비스는 클라우드 기반 AI 연구에 자금을 지원했으며, 엔비디아 및 AMD는 GPU 연구를 지원했다. 대학은 UW-구글 클라우드 파트너십의 일부이며, 교수진은 종종 학계와 오픈AI 및 앤트로픽과 같은 기업 사이에서 시간을 나눈다. 이러한 배열은 딥러닝 연구를 인튜이티브 서지컬과 함께하는 의료 AI 및 웨이모와 함께하는 자율 주행과 같은 배치된 시스템으로 빠르게 전환할 수 있게 한다.
교육 및 훈련
UW는 인공지능에 중점을 둔 컴퓨터 과학 석사 과정을 포함하여 AI 및 머신러닝 분야의 학부 및 대학원 프로그램을 제공한다. 커리큘럼은 트랜스포머 아키텍처, 시퀀스-투-시퀀스 모델, 강화 학습과 같은 핵심 주제를 다룬다. 대학은 또한 AI 전문 자격증을 제공하며, 온라인 과정은 전 세계 수천 명의 실무자를 훈련시켰다. 박사 과정 학생들은 NeurIPS, ICML 및 ACL과 같은 주요 회의에서 자주 논문을 발표한다.
과제 및 윤리적 고려 사항
UW 연구자들은 편향, 공정성 및 투명성을 포함한 AI의 사회적 영향을 적극적으로 연구한다. 멜라니 미첼 (UW에서 강의한 적이 있음) 및 브렌던 레이크 (NYU)와 같은 교수진은 기계 추론에 대한 논쟁에 영향을 미쳤지만, UW 자체의 연구에는 해석 가능한 모델 및 알고리즘 감사 도구 개발이 포함되어 있다. 대학의 기술 정책 연구소(Tech Policy Lab)는 생성형 AI 시스템의 개인정보 보호, 책임 및 윤리적 배치와 같은 문제를 다룬다.
대학은 또한 대규모 연구 기관이 공통적으로 직면하는 자금 경쟁 및 공개 연구와 기업 파트너십 간의 균형 필요성과 같은 과제에 직면해 있다. 그럼에도 불구하고 UW는 하드웨어 가속을 위한 TSMC 및 기타 반도체 기업과 스케일러블 컴퓨팅을 위한 구글 클라우드와의 강력한 관계를 통해 AI 연구자들에게 최고의 목적지로 남아 있다.
영향 및 인정
UW의 AI 연구는 transformers 라이브러리와 같은 널리 사용되는 오픈 소스 도구로 이어졌다 (비록 주로 허깅 페이스에서 나왔지만, UW 뿌리를 둔 스핀오프). 드롭아웃 및 아담 최적화를 포함한 신경망 아키텍처 및 훈련 기법에 대한 대학의 기여는 영향력이 있었다. 2024년에 UW는 AI 연구 산출량 기준 미국 상위 5개 대학 중 하나로 선정되었으며, 교수진은 튜링 상 및 맥아더 펠로우십과 같은 권위 있는 상을 받았다.
주목할 만한 동문으로는 트랜스포머 아키텍처의 공동 발명가인 야콥 우슈코라이트와 트랜스포머 공동 저자이기도 한 루카스 카이저가 있으며, 둘 다 구글 딥마인드 및 다른 연구소로 이동하기 전에 UW에서 연구하거나 근무했다. 대학의 AI 박사 과정은 전 세계 인재를 유치하며, 졸업생들은 애플, 메타, 테슬라 오토파일럿 부서의 주요 AI 그룹에 자리 잡고 있다.
교육 및 커뮤니티
UW는 생성형 AI 및 대규모 언어 모델에 대한 과정을 포함한 AI 집중 컴퓨터 과학 학부 및 대학원 학위를 제공한다. 폴 G. 앨런 대학은 또한 전문 석사 프로그램을 운영하고 AI 윤리에 관한 연례 심포지엄을 개최한다. 학생 조직과 연례 UW AI 컨퍼런스는 학생들을 업계 리더와 연결한다.
AI 연구 자금은 국립 과학 재단 (NSF) 및 국방 고등 연구 계획국 (DARPA)을 포함한 연방 기관과 산업 파트너로부터 나온다. UW의 2024년 연구 예산 17억 3천만 달러는 자율 시스템, 의료 영상 및 자연어 이해 분야의 대규모 프로젝트를 지원한다.
대학은 AI 파트너십의 회원이며, 종종 스탠포드 AI 연구소 및 버클리 AI 연구와 공동 조직되는 책임 있는 AI 워크숍을 개최했다. UW 교수진은 또한 AI 안전에 관한 오픈 패널 논의에 기여했다.
향후 방향
UW는 새로운 시설과 보조금으로 AI 영역을 계속 확장하고 있다. 2024년에 대학은 창의적 응용과 사회적 영향을 탐구하기 위한 생성형 AI 센터를 설립했다. 또한 할시온 및 기타 스타트업과 협력하여 연구를 상업화하고 있다. 대학의 학제 간 작업(생물학, 의학 및 정책과 AI 결합)에 대한 초점은 AI 안전 및 머신러닝 윤리의 새로운 과제를 해결할 수 있는 위치에 있다.