딥러닝은 기계 학습의 한 분야로, 여러 층이 쌓인 인공 신경망을 사용하여 픽셀, 오디오 파형, 텍스트와 같은 원시 데이터에서 직접 계층적 표현을 학습하며, 수작업으로 설계된 특징이 필요하지 않다. "딥(deep)"이라는 단어는 입력과 출력 사이의 층 수를 의미하며, 일반적으로 신용 할당 경로(CAP) 깊이가 2보다 큰 시스템을 말한다. 딥러닝은 지도 학습, 준지도 학습 또는 비지도 학습이 가능하며, 생물학적 뇌 기능을 모델링하는 것을 목표로 하지는 않지만 영감을 얻는다.
역사
딥러닝의 수학적 기초는 1980년대 역전파가 다층 네트워크를 훈련하는 방법으로 대중화되면서 시작되었다. 1990년대와 2000년대에는 데이터, 계산 능력의 제한과 다른 통계적 방법과의 경쟁으로 인해 진전이 정체되었으며, 이 시기는 연결주의적 접근법에 대한 더 넓은 AI 겨울의 일부로 설명되기도 한다. 이 분야의 현대적 시대는 일반적으로 2012년으로 거슬러 올라가며, 그래픽 처리 장치에서 훈련된 딥 합성곱 신경망인 AlexNet이 수작업 특징 기반 방법을 큰 차이로 제치고 ImageNet 대회에서 우승한 해이다. 연구자 제프리 힌턴, 얀 르쿤, 요슈아 벤지오는 나중에 이 분야의 창립 3인방으로 불리며 기반을 마련한 공로로 2018년 튜링상을 받았고, 힌턴은 물리학자 존 홉필드와 함께 관련 기초 연구로 2024년 노벨 물리학상을 공동 수상했다.
"딥러닝"이라는 용어는 1986년 리나 데흐터가 기계 학습 커뮤니티에, 2000년에는 이고르 아이젠버그와 동료들이 불리언 임계 뉴런의 맥락에서 인공 신경망에 도입했다.
구조
초기 딥러닝 성공은 이미지용 합성곱 네트워크와 텍스트 및 음성 같은 순차 데이터용 순환 신경망(LSTM 변형 포함)에서 비롯되었다. 일반적인 구조에는 완전 연결 네트워크, 심층 신뢰 네트워크, 생성적 적대 신경망(GAN), 트랜스포머, 신경 방사 필드도 포함된다. 2017년 트랜스포머 구조의 도입은 단계별 순환 대신 주의 메커니즘을 사용하여 시퀀스를 병렬로 처리하며, 언어 작업에서 순환 네트워크를 대체하고 현대 대규모 언어 모델의 기반이 되었다. 네트워크는 경사 하강법의 변형을 통해 손실 함수를 최소화하여 훈련되며, 각 매개변수가 어떻게 변경되어야 하는지 계산하는 데 역전파가 사용된다. 딥러닝 모델은 탐욕적 층별 방법으로 구성될 수 있으며 비지도 학습 작업에도 적용될 수 있다.
대규모에서 작동하는 이유
딥 네트워크는 이전의 통계적 방법보다 더 많은 데이터와 계산 능력에서 불균형적으로 이점을 얻으며, 이 관계는 나중에 스케일링 법칙으로 공식화되었다. 이러한 스케일링 동작은 원래 그래픽 렌더링용으로 제작된 GPU 하드웨어의 병렬 처리 능력과 결합되어, 2010년대와 2020년대에 걸쳐 실무자들이 점점 더 큰 모델을 훈련할 수 있게 했다. AI 가능 GPU에서 엔비디아의 지배력과 CUDA 소프트웨어 플랫폼은 그 결과 산업 인프라의 핵심 요소가 되었다.
해석
딥 신경망은 일반적으로 보편 근사 정리 또는 확률적 추론의 관점에서 해석된다. 고전적 보편 근사 정리는 유한 크기의 단일 은닉층을 가진 피드포워드 네트워크가 연속 함수를 근사할 수 있다고 말하며, 첫 번째 증명은 1989년 조지 시벤코가 시그모이드 활성화에 대해 발표했고, 1991년 커트 호르니크가 다층 구조로 일반화했다. 최근 연구는 정류 선형 유닛과 같은 비유계 활성화로 보편 근사를 확장했다. 활성화 비선형성을 누적 분포 함수로 간주하는 확률적 해석은 정규화기로서 드롭아웃의 도입으로 이어졌다.
영향과 비판
딥러닝은 컴퓨터 비전, 음성 인식, 기계 번역, 자연어 처리, 그리고 대중에게 가장 눈에 띄는 텍스트 및 이미지 생성에서 빠른 진전을 이끌었다. 이 분야는 생물정보학, 약물 설계, 의료 이미지 분석, 기후 과학, 재료 검사, 보드 게임 프로그램에도 적용되었으며, 일부 경우 인간 전문가 수준에 맞거나 능가하는 결과를 보였다. 비판자들은 딥 네트워크가 대체로 불투명하고, 실패를 예측하기 어려운 통계적 패턴 매처로 기능하며, 엄청난 에너지와 데이터 자원을 요구하여 환경 및 저작권 문제를 제기한다고 지적한다. 지지자들은 동일한 스케일링 방식이 명시적으로 설계되지 않은 능력을 반복적으로 생성해 왔으며, 이는 더 일반적인 지능으로의 궤적에 대한 지속적인 논쟁의 중심 패턴이라고 반박한다.
최근 발전
2020년대에는 트랜스포머 구조 기반의 대규모 언어 모델인 GPT와 허깅 페이스 트랜스포머 라이브러리가 주류 제품이 되었다. 딥러닝은 또한 이미지 합성을 위한 GAN 및 확산 모델, 3D 장면 재구성을 위한 신경 방사 필드와 같은 생성 모델로 확장되었다. 표현 학습과 비지도 학습의 발전은 레이블된 데이터에 대한 의존도를 계속 줄이고 있다. 이 분야는 해석 가능성, 효율성, 인간 가치와의 정렬을 개선하려는 지속적인 노력과 함께 집중적인 연구와 공개 논쟁의 초점으로 남아 있다.