2006년, 제프리 힌턴이 이끄는 연구 그룹이 토론토 대학교에서 심층 신뢰 네트워크를 도입했는데, 이는 탐욕적 층별 접근 방식을 사용하여 효율적으로 훈련할 수 있는 심층 생성 모델의 한 부류입니다. 이 돌파구는 기계 학습의 전환점을 표시하며, 다층 신경망이 광범위한 수작업 엔지니어링 없이 데이터에서 유용한 특징 표현을 학습할 수 있음을 입증했습니다. "딥러닝"이라는 용어는 더 일찍 사용되었지만, 2006년 연구는 심층 구조를 훈련하는 최초의 실용적인 방법을 제공하여 신경망에 대한 관심의 부활을 촉발했고, 결국 현대 AI 붐으로 이어졌습니다.
심층 신뢰 네트워크는 여러 층의 잠재 변수로 구성되며, 각 층은 입력 데이터의 점점 더 추상적인 표현을 포착합니다. 훈련 과정은 각 층이 제한된 볼츠만 머신으로 훈련되는 비지도 사전 훈련 단계와 전체 네트워크의 미세 조정을 포함합니다. 이 접근 방식은 이전 심층 네트워크를 괴롭혔던 기울기 소실 문제를 극복하여 원시 데이터에서 특징의 계층 구조를 학습할 수 있게 했습니다. 심층 신뢰 네트워크의 성공은 합성곱 신경망, 순환 신경망, 그리고 결국 트랜스포머를 포함한 딥러닝의 후속 발전을 위한 기초를 마련했습니다.
이론적 기초
2006년 돌파구는 단일 은닉층을 가진 피드포워드 신경망이 모든 연속 함수를 근사할 수 있다는 보편 근사 정리에 기반을 두었으며, 이는 1989년 조지 사이벤코가 증명하고 1991년 커트 호르니크가 일반화했습니다. 그러나 여러 층을 가진 심층 네트워크는 특정 함수를 표현하는 데 더 효율적인 것으로 알려져 있었고, 탐욕적 층별 훈련 방법은 그러한 네트워크를 훈련하는 실용적인 방법을 제공했습니다. 활성화 함수를 누적 분포 함수로 취급하는 신경망의 확률적 해석도 심층 신뢰 네트워크 개발에 역할을 했는데, 이는 입력 데이터의 결합 분포를 학습하는 생성 모델이기 때문입니다.
기계 학습에 미친 영향
심층 신뢰 네트워크의 도입은 딥러닝이 분류 및 표현 학습과 같은 작업에서 얕은 모델보다 우수한 성능을 달성할 수 있음을 입증했습니다. 이는 기계 학습 커뮤니티가 수작업 특징 엔지니어링에서 종단 간 학습으로 전환하게 만들었습니다. 심층 네트워크를 비지도 방식으로 훈련할 수 있는 능력은 특히 중요했는데, 레이블이 없는 데이터가 레이블이 있는 데이터보다 더 풍부하기 때문입니다. 이 연구는 심층 볼츠만 머신과 적층 오토인코더를 포함한 다른 심층 구조의 개발에도 영향을 미쳤으며, 컴퓨터 비전, 음성 인식, 자연어 처리에서 딥러닝 혁명의 길을 열었습니다.
유산과 진화
2006년 돌파구 이후, 딥러닝은 빠르게 진화했으며, 주요 이정표로는 2015년 잔차 네트워크 개발로 매우 깊은 네트워크 훈련을 가능하게 했고, 2017년 트랜스포머 구조 도입으로 현대 대규모 언어 모델의 기반이 되었습니다. 탐욕적 층별 훈련과 비지도 사전 훈련의 원리는 이후 배치 정규화 및 드롭아웃과 같은 기술에 영향을 미쳐 심층 네트워크 훈련을 더욱 안정화하고 가속화했습니다. 오늘날 딥러닝은 인공지능의 초석이며, 의료 영상 분석에서 자율 주행에 이르는 응용 분야를 가지며 그 영향력은 계속 성장하고 있습니다.
더 넓은 맥락
딥러닝은 기계 학습의 더 넓은 분야의 일부이며, 이는 다시 인공지능의 하위 분야입니다. 2006년 돌파구는 고립된 사건이 아니라 1943년 워런 매컬러와 월터 피츠의 초기 연구, 1958년 프랭크 로젠블랫의 퍼셉트론, 1980년대에 대중화된 역전파 알고리즘을 포함한 수십 년간의 신경망 연구 위에 세워졌습니다. "딥러닝"이라는 용어는 1986년 리나 데흐터가 기계 학습 커뮤니티에 도입했고, 2000년 이고르 아이젠버그와 동료들이 인공 신경망에 도입했습니다. 그러나 힌턴과 그의 팀의 2006년 연구는 심층 구조의 실용적 실행 가능성을 입증한 것으로 널리 인정받으며, 이후의 빠른 발전을 위한 무대를 마련했습니다.