신경망은 생물학적 뉴런에 느슨하게 영감을 받은 단순한 처리 단위들의 상호 연결된 층으로 구성된 계산 모델로, 연결 강도(가중치)는 훈련을 통해 조정되어 원하는 함수를 근사한다. 신경망은 현대 딥러닝과 더 나아가 대부분의 현대 인공지능 시스템의 핵심 계산 구조이다.
역사
가장 초기의 훈련 가능한 신경 모델은 1958년에 도입된 퍼셉트론으로, 단일 층의 조정 가능한 가중치를 사용하여 단순한 패턴을 분류하는 법을 학습할 수 있었다. 1969년 비평에서 문서화된 그 한계는 AI 겨울로 알려진 연구 자금의 광범위한 손실에 기여했다. 다층 네트워크에 대한 관심은 1980년대에 역전파의 대중화와 함께 부활했는데, 이는 네트워크의 각 가중치가 오류를 줄이기 위해 어떻게 변화해야 하는지를 효율적으로 계산하는 알고리즘으로, 은닉 층을 가진 네트워크를 실제로 훈련할 수 있게 했다. 신경망은 2012년 AlexNet의 성공 이후 틈새 기술에서 AI의 지배적인 접근 방식으로 전환되었으며, 이는 그래픽 처리 장치를 사용하여 대규모 데이터 세트로 훈련된 많은 층을 가진 네트워크가 실제 작업에서 이전 방법보다 훨씬 뛰어난 성능을 발휘할 수 있음을 입증했다.
구조
신경망은 단위(또는 뉴런)의 층으로 구성되며, 각 단위는 입력의 가중 합을 계산하고 비선형 활성화 함수를 통과시킨 결과를 다음 층으로 보낸다. 입력과 출력 사이에 많은 층을 가진 네트워크는 "깊다"고 설명되며, 이는 딥러닝이라는 이름의 유래가 되었다. 훈련 중에 손실 함수는 네트워크 출력과 원하는 결과 사이의 차이를 측정하고, 경사 하강법은 그 차이를 줄이기 위해 가중치를 반복적으로 조정하며, 역전파는 모든 층에 걸쳐 필요한 기울기를 한 번에 효율적으로 제공한다.
아키텍처 계열
서로 다른 네트워크 아키텍처는 서로 다른 종류의 데이터에 적합하다. 합성곱 신경망은 공유된 공간적 지역 필터를 사용하며 이미지에 잘 적합하다. 순환 신경망은 LSTM 변형을 포함하여 시퀀스를 단계별로 처리하며, 텍스트와 음성에 역사적으로 사용되었지만 이후 트랜스포머 아키텍처로 대체되었는데, 이는 어텐션을 사용하여 전체 시퀀스를 병렬로 처리한다. 생성적 적대 신경망 및 확산 모델과 같은 생성 아키텍처는 신경망을 분류나 예측뿐만 아니라 새로운 데이터를 생성하는 작업에 적용한다.
한계와 해석 가능성
신경망은 종종 "블랙 박스"로 비판받는다. 그 내부 표현은 출력이 정확하더라도 인간이 검사하거나 설명하기 어렵다. 이는 훈련된 네트워크의 개별 구성 요소가 무엇을 나타내는지 역설계하려는 해석 가능성이라는 연구 하위 분야를 촉발했다. 이러한 불투명성에도 불구하고 신경망은 비전, 언어, 오디오, 그리고 점점 더 로봇 공학과 과학 응용 분야에서 지배적인 도구로 남아 있으며, 주로 더 많은 데이터, 더 많은 매개변수, 더 많은 계산으로 성능이 예측 가능하게 계속 향상되기 때문이다.
최근 발전
2020년대에 신경망은 특히 생성형 AI 영역에서 규모와 능력 면에서 계속 확장되었다. 트랜스포머 아키텍처를 기반으로 한 대규모 언어 모델은 추론, 번역, 코드 생성에서 창발적 능력을 입증했으며, 확산 모델은 고품질 이미지 및 비디오 합성의 표준이 되었다. 신경망 해석 가능성에 대한 연구도 진전되어, 기계적 해석 가능성과 같은 기술은 훈련된 네트워크의 내부 계산을 역설계하는 것을 목표로 한다. 이러한 발전은 신경망을 과학적 발견과 자율 시스템을 포함한 여러 분야에서 기초 기술로 확고히 자리 잡게 했다.