딥러닝은 기계 학습의 한 분야로, 여러 층이 쌓인 인공 신경망을 사용하여 픽셀, 오디오 파형, 텍스트와 같은 원시 데이터에서 직접 계층적 표현을 학습하며, 수작업으로 설계된 특징을 필요로 하지 않는다. "딥(deep)"이라는 단어는 입력과 출력 사이의 층 수를 의미한다.
역사
딥러닝의 수학적 기초는 1980년대로 거슬러 올라가며, 역전파가 다층 네트워크를 훈련하는 방법으로 대중화되었다. 1990년대와 2000년대에는 데이터와 계산 능력의 제한, 다른 통계적 방법과의 경쟁으로 인해 진전이 정체되었으며, 이 시기는 연결주의적 접근법에 대한 광범위한 AI 겨울의 일부로 설명되기도 한다. 이 분야의 현대적 시대는 일반적으로 2012년으로 간주되며, 그래픽 처리 장치에서 훈련된 딥 합성곱 신경망인 AlexNet이 수작업 특징 기반 방법을 큰 차이로 제치고 ImageNet 대회에서 우승한 해이다. 연구자 제프리 힌턴, 얀 르쿤, 요슈아 벤지오는 나중에 이 분야의 창립 3인조로 불리며, 기초를 마련한 공로로 2018년 튜링상을 수상했다. 힌턴은 물리학자 존 홉필드와 함께 관련 기초 연구로 2024년 노벨 물리학상을 공동 수상했다.
구조
초기 딥러닝의 성공은 이미지용 합성곱 네트워크와 텍스트 및 음성 같은 순차 데이터용 순환 신경망(LSTM 변형 포함)에서 비롯되었다. 2017년에 도입된 트랜스포머 구조는 단계별 순환이 아닌 어텐션 메커니즘을 사용하여 시퀀스를 병렬로 처리하며, 언어 작업에서 순환 네트워크를 대체하고 현대 대규모 언어 모델의 기반이 되었다. 네트워크는 경사 하강법의 변형을 통해 손실 함수를 최소화하여 훈련되며, 역전파는 각 매개변수가 어떻게 변경되어야 하는지 계산하는 데 사용된다.
대규모에서 작동하는 이유
딥 네트워크는 이전의 통계적 방법에 비해 더 많은 데이터와 계산 능력으로부터 불균형적으로 이점을 얻으며, 이 관계는 나중에 스케일링 법칙으로 공식화되었다. 이러한 스케일링 동작은 원래 그래픽 렌더링용으로 제작된 GPU 하드웨어의 병렬 처리 능력과 결합되어, 실무자들이 2010년대와 2020년대에 걸쳐 점점 더 큰 모델을 훈련할 수 있게 했다. AI 가능 GPU에서 엔비디아의 지배력과 CUDA 소프트웨어 플랫폼은 그 결과 산업 인프라의 핵심 요소가 되었다.
영향과 비판
딥러닝은 컴퓨터 비전, 음성 인식, 기계 번역, 그리고 대중에게 가장 눈에 띄는 텍스트 및 이미지 생성에서 빠른 진전을 이끌었다. 비판가들은 딥 네트워크가 여전히 대체로 불투명하고, 실패를 예측하기 어려운 통계적 패턴 매칭기로 기능하며, 막대한 에너지와 데이터 자원을 요구하여 환경 및 저작권 문제를 제기한다고 지적한다. 지지자들은 동일한 스케일링 방식이 명시적으로 설계되지 않은 능력을 반복적으로 생성해 왔으며, 이는 더 일반적인 지능으로의 궤적에 대한 지속적인 논쟁의 핵심 패턴이라고 반박한다.