신경망(neural network)은 상호 연결된 단순 처리 유닛들의 계층으로 구성된 계산 모델로, 생물학적 뉴런에서 느슨하게 영감을 얻었으며, 연결 강도(가중치)는 훈련을 통해 조정되어 원하는 함수를 근사한다. 신경망은 현대 딥러닝의 핵심 계산 구조이며, 더 나아가 대부분의 현대 인공지능 시스템의 기반이 된다.
역사
가장 초기의 훈련 가능한 신경 모델은 1958년에 도입된 퍼셉트론으로, 단일 계층의 조정 가능한 가중치를 사용하여 단순 패턴을 분류하는 법을 학습할 수 있었다. 1969년의 비판적 연구에서 문서화된 그 한계는 AI 겨울로 알려진 연구 자금의 광범위한 감소에 기여했다. 다중 계층 네트워크에 대한 관심은 1980년대 역전파의 대중화와 함께 부활했는데, 역전파는 네트워크의 각 가중치가 오류를 줄이기 위해 어떻게 변경되어야 하는지를 효율적으로 계산하는 알고리즘으로, 은닉 계층을 가진 네트워크를 실제로 훈련할 수 있게 해주었다. 신경망은 2012년 AlexNet의 성공 이후 틈새 기술에서 AI의 지배적 접근 방식으로 전환되었는데, 이는 많은 계층을 가진 네트워크가 대규모 데이터셋과 그래픽 처리 장치를 사용하여 실제 작업에서 이전 방법들을 크게 능가할 수 있음을 입증했다.
구조
신경망은 유닛(또는 뉴런)의 계층으로 조직되며, 각 유닛은 입력의 가중 합을 계산하고 그 결과를 비선형 활성화 함수에 통과시킨 후 다음 계층으로 전달한다. 입력과 출력 사이에 이러한 계층이 많이 있는 네트워크는 "심층(deep)"이라고 불리며, 여기서 딥러닝이라는 이름이 유래했다. 훈련 중에는 손실 함수가 네트워크 출력과 원하는 결과 사이의 차이를 측정하고, 경사 하강법이 그 차이를 줄이기 위해 가중치를 반복적으로 조정하며, 역전파는 모든 계층에 걸쳐 필요한 기울기를 한 번에 효율적으로 공급한다.
아키텍처 계열
서로 다른 네트워크 아키텍처는 서로 다른 유형의 데이터에 적합하다. 합성곱 신경망은 공유되고 공간적으로 국소적인 필터를 사용하며 이미지에 잘 적합하다. 순환 신경망은 LSTM 변형을 포함하여 시퀀스를 단계별로 처리하며, 트랜스포머 아키텍처에 의해 대체되기 전까지 텍스트와 음성에 역사적으로 사용되었다. 트랜스포머는 어텐션을 사용하여 전체 시퀀스를 병렬로 처리한다. 생성적 적대 신경망 및 확산 모델과 같은 생성 아키텍처는 단순히 분류하거나 예측하는 대신 새로운 데이터를 생성하는 작업에 신경망을 적용한다.
한계와 해석 가능성
신경망은 종종 "블랙박스"로 비판받는다. 즉, 출력이 정확하더라도 내부 표현을 인간이 검사하거나 설명하기 어렵다. 이로 인해 해석 가능성이라는 연구 하위 분야가 생겨났으며, 이는 훈련된 네트워크의 개별 구성 요소가 무엇을 나타내는지 역설계하려고 시도한다. 이러한 불투명성에도 불구하고, 신경망은 더 많은 데이터, 더 많은 매개변수, 더 많은 계산으로 성능이 예측 가능하게 계속 향상되기 때문에 비전, 언어, 오디오, 그리고 점점 더 로봇 공학과 과학 응용 분야에서 지배적인 도구로 남아 있다.