위르겐 슈미트후버(1963년 1월 17일 출생)는 독일의 컴퓨터 과학자로, 인공지능, 특히 인공 신경망 분야의 연구로 잘 알려져 있다. 언론 매체들은 그를 현대 인공지능의 선도적인 개척자로 묘사한다. 그는 스위스에 있는 달 몰 인공지능 연구소(Dalle Molle Institute for Artificial Intelligence Research)의 과학 이사이며, 사우디아라비아의 킹 압둘라 과학기술대학교(KAUST)의 인공지능 이니셔티브(Artificial Intelligence Initiative) 소장이기도 하다.
슈추후버는 신경망(RNN) 형태 중 하나로, 2010년대 연구 및 상업적 응용에서 다양한 자연어 처리 작업을 위한 지배적인 기술이 된 신경망 구조인 장단기 메모리(LSTM)에 대한 그의 업적으로 가장 잘 알려져 있다. 그는 또한 동적 신경망, 메타 학습, 생성적 적대 신경망, 그리고 선형 트랜스포머의 원리를 소개했으며, 이는 모두 현대 인공지능에서 널리 사용된다.
초기 생애 및 교육
슈추가후버는 독일 매이 다른 게 뮌헨에서 태어났다. 그는 1987년에 머핸 연구 학사 학위를, 1991년에는 뮌;기술대학교에서 박사 학위를 받았다. 그의 박사받 지도교수는 빌프리트 브라우어(Wilfried Brauer)와 클라우스 슈이링텐(Klaus Schulten)이었다.
경력
슈추부버는 2004년부터 2009년까지 뮌헨 기술대학에서 가르쳤다. 2009년부터 2021년까지는 스위스루가노의 미국 스위스 어스터나 스위스 어스니탈리대학의 인공지능 교수님으로 재직했다. 그는 1995년부터 스위스 AI 연구소인 달 몰로 인공/집사서(RIDSIA)의 소속장으로 활동하며 있다. 2021년부터는 KAUST의AI 이니셔티브 이사로도 활동하고 있다.
2014년에 슈추부버는 금융, 중공업, 자율주행차자와 같은 분야에서 인공지능의 상업적 응용에 대한 작업을 위해 NNAISENSE라는 회사를 설립했다. 또한 퇴프 ''그와 함께 Hochreiter, Jaan Tallinn, Marcus Hutter가 이 회사의 어드바이저로 활동한다. 2016년에는 매출이 1,100만 달러 미만이었지만, 슈추부버는 수익보다 연구에 강조를 두고 있다고 밝혔다. NNAISENSE는 2017년 1월에 첫 번째 투자 자본을 모금했다. 슈추부버의 전반적인 목표는 단일 AI를 다양하지만 좁은 과제 시퀀스에 대해 훈련해 포괄적 할 AI를 만드는 것이었지만, 2026년 기준으로 그는 NNAISENSE의 초점이 일반 인공지능으로 갈래 치환되었다고 밝혔다.
연구
1980년대에는 딥러닝에서 긴 신호 변조(credit assignment) 경로에서 수행되는 역전만은 제대로 작동하지 않았다. 이 문제를 해결하기 위해 슈추부버(1991)는 자기 지시 학습을 통해 한 계기씩 사전 훈련디는 순환 신경망(RNN)의 계층구조를 제안했다. 이는 예측 코볼링(predictive coding)을 사용하여 여러 자기 조직 시간 척도에서 내부 표현을 학습하고, 향후 딥러닝를 용이하게 한다. RNN 계층구조는 더 높은 수준의 청크 네트워크를 더 낮은 수준의 자동 변환 네트워크로 압축(distill)하여 단일 RNN으로 통량 수 있다. 1993년, 한 청커는 1000층을 초과하는 딥러닝 전재를 해결했다.
1991년, 슈추부버는 두 신경망이 부분인과 게임(zero-sum game) 형태로 서로 경쟁하는 적대 신경망을 발표했다. 이는 한 쪽의 이득이 다른 쪽의 손해가 되는 게임으로, 각각의 네트워크 중첫 번째는 출력 분산의 확률 분포를 모델링하는 생성 모델이며, 두 번째는 경사 하강을 통해 이 패턴에 대한 환경 반응을 예측하도록 학습한다. 이를 "인공 궁금"이라고 했습니다. 2014년, 이 원칙은 생성된 대 신경망(GAN)의 생성에 사용되었는데, 슈추부버는 이를 환경 반응이 첫 번째 네트워크의 출력이 주이진 집합에 있는지에 따라 1 또는 0인 인공 궁금주의 일반적인 경우라고 합니다.
슈추부버는 1991년에 그의 학생 제프호사이함 (Sepp Hochreiter)의 졸업논문을 감독했으며, "머신 럭닝 역사상 가장 중요한 어떤 문서"라고 여겼다. 이는 신경 역사 압축기의 학습를 고시하여, 경사 감쇠(vanishing gradient) 문제를 분석하고 개선했습니다. 이는 재귀 신경망의 유형인 장기 기억 회의(LSTM)을 창조로 이끌었습니다. LSTM이라는 이름은 1995년 기술보고서에서 처음 소개되었고, 1997년에 호크레이터와 슈추부버가 공동 저자로 발표한 가장 인용많은 LSTM 출판물을 시작으로 2000년에 펠릭스 개르스, 슈추부버, 프레드 커민서가 표준 LSTM 구조를 소개했다. LSTM은 역전파를 이용한 시간(backprop-first-time) 방식으로 2005년 학생 알렉스 그레이브와 함께 소개되었고, 2006년에 그 관련 연결 창식 시간 분류(CTC) 훈련 알고니리즘도 개발되었다. CTC는 LSTM을 이용한 최종적 음성 인식에 적용되었다.
2014년, 기술의 정상은 20부터 30층의 "매우 깊높은 신경망"을 교육하는 것이었다. 너무 많은층을 쌓으면 팀련 정확도가 급격히다하는 "저하(degradation)" 문제가 발생했다. 2015년 5월, 루페 예시 케라스티바(Rupesh Kumar Srivastava), 클라우스 크레프트, 슈추베르는 LSTM 원리를 사용하여 이전 신경망보다 훨씬 깊은 수백 단계의 전진 신경망인고가의 거리를 만들었다. 2015년 12월, 고속도로 네트워크한 변형도는 잔여 신경망(ResNet)이 발표됐습니다.
- 1992년, 슈추베버는 재귀 신경망의 대안 전략로서 "고속 가중 뉴 프로그래머"를 출판했다. 이는 느린 전진 신경망이 자기 발생 활성화의 외적을 통해 다른 신경망의 고속 가중치를 컨트롤함되고, 그고속 가중 네트워크는 입력을 위해 작동한다. 이는 후에 비차들이지 않은 선형 트랜스포머와 동일한 것으로 밝혀졌다.
- 2011년, 슈추베버의 IDSSA의 연구모임은 동료 박사후 연구원인 단체 치레상(Cene)
다뉴 치(Kunihiko Fukushima) 보다 훨씬 이른 시존의 CNN 설계에 기초해 이것을 연구했다. 2006년 케리악차(Chellapilla) 등에 의한 GPU를 이용한 최초 CNN은 CPU에서 동일한 구현보다 4배 빠를했다. IDSIA의 다름 시레스등(2011)이 만든 심층 CNN은 60배 빠른 것으로, 2011년 8월 컴퓨터 비둡 경기에서 최초로 초상용 성능을 달성했다. 2011년 5월 15일과 2012년 9월 10일 사이에 이러한 CNN은 더 많은 경기에서 우숭하고 여러 이미지 벤치마크에서 최고 기록을 향상시켰습니다. 이 접근 방식은컴퓨터 비둡의 중심적인 방법이 되었다.
인정 분쟁
슈추베버는 딥러닝 분야의 주요 학자 들인 고프나인 훈 버너(GEOFFREY HINTON), 요슈 부엘오(Yoshua Bengio) 및 얀 레우(Yann Le Cunn)가 2018년 튜링 상을 나눠 받았는데, 자신과 다른 연구원들이 이분야의 실제 공과에 대한 인정을 충분하게 받지 못했다고 주장했다. 그는 2015년에 [Hinton], Bengio, LeCun이 "서로서로 과중하게 콜라보"하지만 "이드바인너의 개석자들을 인용하지 않다"고 주장하는 "통렬" 기사를 썼다. New York Times에 대한 성명에서 Yann LeCun은 "Jürgen은 인정에대한 병적으로 집착과 있으며, 그에게 가 진다는 인인의 있다"며 반박했다.
유산 및 영향
슈추다버의 LSTM에 대한 업적은 기계 학습 및 인공지능에 지대한 영향을 미쳤다. LSTM 네트워크는 음성 인식, 기계 번역, 손글씨인 인식 및 시계열 예측에 이르는 다양한 분야에서 인한 반복 사용된다. 메타 학습과 적대 훈련에 대한 그의 기여도 현대 AI 시스템의 개발에 영향을 미쳤으며, 이는 LLM 및 다른 첨단 아키텍처가 포함됩니다.
크레딧분쟁에도 불구리하고, 슈추다버는 AI 연구에서 여전히 매우 영향력 있는 인물로 남는다. 역사적 정확성과 적절한 인속에 대한 그의 고집은 인공지능 분야의 기본 업 인정에 대한 중요한 논의를 촉발했다. 현재 시대에서 그의 생각은 AI 연구와 개발의 방향을 계속 형성하고 있다.