Geoffrey Everest Hinton(1947년 12월 6일 출생)은 인공 신경망에 대한 기초 연구로 유명한 영국계 캐나다인 컴퓨터 과학자, 인지 과학자, 인지 심리학자로, 'AI의 대부'라는 칭호를 얻었다. 그는 토론토 대학교의 명예 대학 교수로, 1980년대 후반부터 딥러닝 발전의 중심 인물이었다.
Hinton의 공헌은 다층 신경망 훈련을 위한 역전파를 대중화한 1986년 획기적인 논문의 공동 저술과, 2012년 ImageNet 챌린지에서 우승하여 컴퓨터 비전에 혁명을 일으킨 AlexNet 설계를 포함한다. 그는 딥러닝 연구로 Yoshua Bengio, Yann LeCun과 함께 2018년 튜링상을 공동 수상했으며, 2024년에는 John Hopfield와 함께 인공 신경망을 이용한 머신러닝을 가능하게 한 발견으로 노벨 물리학상을 수상했다.
교육
Hinton은 영국 윔블던에서 태어나 브리스톨의 Clifton College를 다녔으며, 1967년 케임브리지 킹스 칼리지에 입학했다. 자연과학과 미술사를 포함한 여러 분야를 시도한 끝에 1970년 실험 심리학 학사 학위를 취득했다. 이후 목수 견습공으로 일했지만 학계로 돌아와 1972년부터 1975년까지 에든버러 대학교에서 공부했으며, 1978년 Christopher Longuet-Higgins의 지도 아래 인공지능 박사 학위를 받았다. 신경망에 대한 그의 초기 관심은 당시 지배적이던 상징적 AI 학파와는 다른 길이었다.
경력 및 학문적 역할
박사 학위를 마친 후 Hinton은 영국의 서식스 대학교와 MRC 응용 심리학 부서에서 직책을 맡았지만 연구 자금 확보에 어려움을 겪었다. 그는 미국으로 건너가 캘리포니아 대학교 샌디에이고와 피츠버그의 카네기 멜론 대학교에서 일했다. 1987년 토론토 대학교에 합류하여 그 이후로 계속 재직했으며, 1998년부터 2001년까지는 런던 대학 칼리지의 개츠비 자선 재단 전산 신경과학 부서의 창립 책임자로 일하는 동안 잠시 자리를 비웠다.
토론토 대학교에서 Hinton은 1987년 캐나다 고등 연구소(CIFAR)의 펠로우로 임명되었고, 2004년에는 신경 계산 및 적응 지각 프로그램(이후 '기계와 뇌의 학습'으로 개명)을 시작하는 데 도움을 주었으며 10년 동안 이끌었다. 이 프로그램의 구성원에는 Yoshua Bengio와 Yann LeCun이 포함되어 있었고, 그들과 함께 튜링상을 공동 수상했다. 2012년 Hinton은 Coursera 플랫폼을 통해 신경망에 대한 무료 온라인 강좌를 가르쳐 수십만 명에게 딥러닝을 소개했다. 같은 해, 그는 대학원생 Alex Krizhevsky와 Ilya Sutskever와 함께 DNNresearch Inc.를 공동 설립했다.
이 회사는 2013년 3월 구글(이후 구글 브레인)에 4,400만 달러에 인수되었고, Hinton은 이후 회사와 학업 업무를 병행했다. 2023년 5월, 그는 AI의 위험에 대해 자유롭게 말하고 싶다며 구글에서 공개적으로 사임했고, 자신의 평생 연구를 부분적으로 후회한다고 밝혔다. 그는 또한 2017년 토론토의 Vector Institute를 공동 설립하고 최고 과학 고문이 되었으며, 적극적인 연구에서 은퇴한 후에도 그 직책을 계속 유지했다. Hinton은 컴퓨터 과학과의 명예 대학 교수이기도 하며, 그의 박사 과정 학생과 박사후 연구원으로는 Peter Dayan, Sam Roweis, Max Welling, Richard Zemel, Brendan Frey, Radford Neal, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, Yann LeCun, Zoubin Ghahramani 등이 있다.
신경망 연구
Hinton의 연구는 주로 머신러닝, 기억, 지각, 기호 처리를 위한 신경망의 사용에 관한 것이다. 그는 200편 이상의 동료 심사 논문을 저술하거나 공동 저술했으며, 그의 연구는 분산 표현, 시간 지연 신경망, 전문가 혼합, 헬름홀츠 머신, 전문가 곱 등을 아우른다.
1980년대에 Hinton은 카네기 멜론 대학교의 병렬 분산 처리 그룹의 일원이었으며, 여기에는 Terrence Sejnowski, Francis Crick, David Rumelhart, James McClelland도 포함되어 있었다. 이 그룹은 AI 분야가 주로 규칙과 지식을 명시적으로 프로그래밍하는 접근 방식인 상징적 AI로 방향을 잡고 있던 시기에, 더 높은 수준의 인지가 단순한 단위의 네트워크에서 나타날 수 있다는 생각인 연결주의를 옹호했다.
1985년 Hinton은 David Ackley와 Terry Sejnowski와 함께 볼츠만 머신을 공동 발명하는 중요한 기술적 공헌을 했다. 이 확률적 네트워크는 잠재 확률 모델을 통해 패턴을 표현하고 생성하는 법을 학습했으며, 이후 에너지 기반 모델의 기초를 마련했다. 1995년에는 학생 및 동료들과 함께 깨우기-잠들기 알고리즘을 제안했는데, 이는 인식 네트워크와 생성 네트워크를 번갈아 가며 '깨우기'와 '잠들기' 단계로 훈련시키는 방법이다. 이 연구는 이후 여러 학습 접근법의 발전에 기여했다.
Hinton은 또한 고차원 데이터를 이해하는 데 사용되는 시각화 기법을 개발했다. 2008년 Laurens van der Maaten과 함께 t-SNE를 도입했는데, 이는 많은 차원의 데이터를 시각적 검사를 위해 2~3차원으로 줄이는 방법으로, 신경망 외의 분야에서도 널리 사용된다. 그는 또한 2007년 이미지 변환의 비지도 학습에 관한 논문을 공동 저술하여 레이블 없이 데이터를 학습하는 도구 키트를 더욱 풍부하게 했다.
AlexNet과 딥러닝 돌파구
Hinton의 명성은 2012년 학생 Alex Krizhevsky와 Ilya Sutskever와 함께 설계한 합성곱 신경망 AlexNet이 ImageNet 대규모 시각 인식 챌린지에서 압도적으로 우승하면서 급상승했다. 이 네트워크는 당시 top-5 오류율 15.3%를 달성하여 이전 방법보다 훨씬 뛰어난 성능을 보여주었고, 심층 신경망의 힘을 극적으로 입증했다. 이 돌파구는 딥러닝 컴퓨터 비전의 르네상스를 촉발시켰으며, 현재의 AI 발전 물결의 핵심 요인이었다.
AlexNet 이전에는 신경망이 제한적이라고 여겨졌으며, 종종 작은 데이터셋으로 훈련되었다. 이 성공은 대규모 데이터 증강, 정류 선형 유닛, 효율적인 GPU 훈련을 결합한 것이었으며, Hinton과 그의 동료들은 수년 동안 이를 추구해 왔다. AlexNet의 성능 인정은 구글의 AI 노력과 같은 새로운 회사와 연구소가 Deep learning에 대한 투자를 강화한 주요 동기로 널리 여겨진다.
대중 홍보 및 협력
Hinton은 1992년 9월과 1993년 10월 Scientific American과 같은 잡지에 인공지능에 관한 글을 게재하며 자신의 아이디어를 더 넓은 대중에게 전달하기 위해 꾸준히 노력해 왔다. 그는 또한 2012년 실제 지식 학습에 관한 MOOC를 가르쳐 한 세대의 딥러닝 연구자들을 양성하는 데 기여했다. 2013년 구글로의 이적은 "대학 연구와 구글에서의 일 사이에 시간을 나누겠다"는 의도로 발표된 파트타임 임용으로, 산업계와의 연결을 더욱 공고히 했다. Suverskever와 Krizhevsky와 함께 DNNresearch를 설립한 후 그는 AI 기업 생태계에 합류했으며, 특히 이후 그의 그룹이 OpenAI의 초기 노력(예: 2020년 언어 모델 차이)과 협력했지만 Hinton 자신은 OpenAI에 있지 않았다. 현재 그의 직원들은 여러 기관에 있다.
수상 및 인정
Hinton의 기초적 발견은 그의 분야에서 최고의 전문적 인정을 받았다. 2018년, 그는 종종 컴퓨팅의 노벨상이라고 불리는 ACM AM 튜링상을 Yoshua Bengio 및 Yann LeCun과 공동 수상했으며, 이는 대규모 신경망이 지능을 산출할 수 있다는 개념을 입증한 개념적, 공학적 돌파구를 인정받은 것이다. 그들은 종종 '딥러닝의 대부들'이라고 불린다.
2024년, Hinton은 John Hopfield와 함께 '인공 신경망을 이용한 머신러닝을 가능하게 한 기초 발견과 발명'으로 노벨 물리학상을 수상했다. 스웨덴 아카데미는 통계 물리학과 연상 기억에 대한 그들의 연구를 강조했으며, 이는 현재의 Artificial intelligence 붐의 주요 기반을 마련했다. 이론 물리학자이기도 한 Hinton은 한때 주변적이었던 분야가 현대 물리학의 중심이 된 아이러니를 반성하며 상을 수락했다.
AI 안전 및 옹호
2023년 구글을 떠난 후 Hinton은 AI의 위험에 관한 저명한 목소리가 되었다. 그는 안전에 대해 자유롭게 말하기 위해 떠났다고 밝혔다. 그는 Large language model과 곧 인간 수준의 능력으로 기능할 수 있는 다른 시스템에 대해 우려하며, 이들이 악의적인 행위자에 의해 오용되거나 최악의 경우 실존적 위험이 될 수 있다고 말한다. 그는 더 이상 Artificial general intelligence로의 전환이 가능하다고 생각하지 않지만, 엄청나게 가속화되고 있다고 본다.
Hinton은 AI 기업과 국가 간의 구속력 있는 협력을 통해 안전 지침을 수립하고 시행할 것을 촉구했다. 그는 AI 자율 규제로는 충분하지 않다고 밝혔으며, 특히 Large language model을 구축하는 기업들이 이윤 동기에 의해 '노예화'될 수 있고, 국가들이 안전을 피할 수 없는 경쟁에 나설 수 있다고 지적했다. 노벨상을 받은 후, 그는 인간보다 더 똑똑한 시스템에 대한 통제를 보장하기 위해 AI 안전에 대한 긴급 연구를 제안했다. 그의 메시지는 과학적 비판을 받았지만, 통제에 대해 점점 더 우려하는 AI 커뮤니티의 생각과 공명한다.
개인 생활 및 유산
Hinton은 런던 윔블던에서 지적인 가정에서 태어났다. 그의 배경에는 많은 과학자들이 있으며, 그의 증조부 Claude는 논리학자였다. 그는 1987년 캐나다로 이민하여 캐나다 시민이 되었고 현재 토론토에 거주한다. 그는 유명한 맞춤 해킹과 같은 독특한 면모를 가지고 있으며 성공에 부족함이 없었다. 1980년대에 종종 조롱받았던 그의 초기 선구적 공헌은 이후 선견지명이 있었던 것으로 입증되었다.
Hinton의 주목할 만한 전 박사 과정 학생 및 박사후 연구원으로는 Peter Stimson, Sam Read, Max Welles, Richard Urban Bedding, Radford, Y. Why, Ruslan, Ilya Sutskever(OpenAI 공동 창립자, Deep learning 창시자) 등이 있다.
Hinton은 자신의 평생 연구를 보장하는 기초적 인물로 인정받았다. 그는 윤리적 조치를 촉구했지만, AI의 '지능 시대'에서 가치를 계속 보고 있다.