연결주의는 연결주의 네트워크 또는 인공 신경망으로 알려진 수학적 모델을 활용하여 인간의 정신 과정과 인지를 연구하는 접근 방식이다. 핵심 원리는 정신 현상이 단순하고 종종 균일한 단위들의 상호 연결된 네트워크로 설명될 수 있다는 것이며, 연결과 단위의 형태는 모델마다 다를 수 있다. 예를 들어, 네트워크의 단위는 뉴런을, 연결은 시냅스를 나타낼 수 있으며, 이는 인간의 뇌와 같다. 이 접근 방식은 종종 고전적 인공지능(GOFAI)이라고 불리는 상징적 계산에 기반한 고전적 마음 이론의 대안으로 여겨져 왔지만, 두 접근 방식이 얼마나 호환되는지는 그 시작 이후로 많은 논쟁의 대상이 되어 왔다.
연결주의는 시작 이후 여러 차례의 뚜렷한 발전 물결을 경험했다. 첫 번째 물결은 1943년 워렌 스터지스 매컬록과 월터 피츠의 연구로 시작되었으며, 그들은 형식적이고 수학적인 접근을 통해 신경 회로를 이해하는 데 초점을 맞추었다. 두 번째 물결은 1980년대 후반에 은닉 층과 시그모이드 활성화 함수의 도입으로 꽃을 피웠다. 현재의 세 번째 물결은 Deep learning의 발전으로 특징지어지며, 이는 대규모 언어 모델의 생성을 가능하게 했다. 최근 수십 년간 딥러닝 네트워크의 성공은 이 접근 방식의 인기를 크게 높였지만, 그러한 네트워크의 복잡성과 규모는 해석 가능성 문제를 증가시켰다.
기본 원리
연결주의의 핵심 원리는 정신 현상이 단순하고 종종 균일한 단위들의 상호 연결된 네트워크로 설명될 수 있다는 것이다. 연결과 단위의 형태는 모델마다 다를 수 있다. 예를 들어, 네트워크의 단위는 뉴런을, 연결은 시냅스를 나타낼 수 있으며, 이는 인간의 뇌와 같다. 이 원리는 GOFAI와 상징적 계산에 기반한 고전적 마음 이론의 대안으로 여겨져 왔지만, 두 접근 방식이 얼마나 호환되는지는 그 시작 이후로 많은 논쟁의 대상이 되어 왔다.
신경망은 두 가지 기본 원리를 따른다. 모든 정신 상태는 네트워크의 신경 단위들에 대한 숫자 활성화 값의 n차원 벡터로 설명될 수 있다. 기억과 학습은 신경 단위 간 연결 가중치를 수정함으로써 생성되며, 일반적으로 n×m 행렬로 표현된다. 가중치는 헤비안 학습과 같은 일부 학습 규칙 또는 알고리즘에 따라 조정된다.
연결주의 모델 간의 다양성은 대부분 세 가지 출처에서 비롯된다. 단위의 해석은 다양할 수 있으며, 단위는 뉴런 또는 뉴런 그룹으로 해석된다. 활성화의 정의는 다를 수 있다. 예를 들어, 볼츠만 머신에서 활성화는 활동 전위 스파이크를 생성할 확률로 해석되며, 단위에 대한 입력 합계의 로지스틱 함수를 통해 결정된다. 학습 알고리즘도 다양하며, 시간에 따른 연결 가중치의 수학적으로 정의된 모든 변화를 학습 알고리즘이라고 한다.
활성화 및 학습
모든 네트워크의 내부 상태는 시간이 지남에 따라 변화하는데, 이는 피드포워드 네트워크의 경우 뉴런이 다음 층의 뉴런으로 신호를 보내거나, 순환 네트워크의 경우 이전 층으로 신호를 보내기 때문이다. 비선형 활성화 함수의 발견은 연결주의의 두 번째 물결을 가능하게 했다. 현대 네트워크는 일반적으로 시그모이드, ReLU 또는 그 변형과 같은 함수를 사용하며, 이를 통해 네트워크는 복잡한 비선형 관계를 모델링할 수 있다.
연결주의 네트워크에서의 학습은 일반적으로 학습 규칙에 따라 연결 가중치를 조정하는 것을 포함한다. 가장 영향력 있는 것은 역전파이며, 이는 가중치에 대한 오차의 기울기를 계산하고 그에 따라 업데이트한다. Adam (Optimizer) 및 기타 Stochastic Gradient Descent Variants와 같은 최적화 기술은 딥 네트워크 훈련에서 표준이 되었다. Dropout, Batch Normalization, Layer Normalization과 같은 다른 기술은 훈련을 안정화하고 정규화하는 데 도움이 된다.
생물학적 현실성
일반적으로 연결주의 작업은 생물학적으로 현실적일 필요는 없다. 연결주의 모델이 생물학적으로 그럴듯하지 않다고 여겨지는 한 영역은 학습을 지원하는 데 필요한 오류 전파 네트워크와 관련이 있다. 그러나 오류 전파는 N400 및 P600과 같은 사건 관련 전위에서 두피에서 보이는 생물학적으로 생성된 전기 활동의 일부를 설명할 수 있으며, 이는 연결주의 학습 절차의 핵심 가정 중 하나에 대한 일부 생물학적 지원을 제공한다.
많은 순환 연결주의 모델은 또한 동역학계 이론을 통합한다. 연결주의자 폴 스몰렌스키를 포함한 많은 연구자들은 연결주의 모델이 완전히 연속적이고, 고차원적이며, 비선형적이고, 동적인 시스템 접근 방식으로 진화할 것이라고 주장해 왔다. 신경망 연구 분야는 공학적 목표를 추구하면서도 신경과학에서 계속 영감을 얻고 있다.
선구자
연결주의 원리의 선구자는 윌리엄 제임스의 연구와 같은 초기 심리학 작업으로 거슬러 올라갈 수 있다. 인간의 뇌에 대한 지식에 기반한 심리학 이론은 19세기 후반에 유행했다. 일찍이 1869년에 신경학자 존 휴링스 잭슨은 다층적이고 분산된 시스템을 주장했다. 이러한 선도를 따라 허버트 스펜서의 『심리학 원리』 3판(1872)과 지그문트 프로이트의 『과학적 심리학 프로젝트』(1895년 집필)는 연결주의 또는 원시 연결주의 이론을 제시했다. 이러한 이론들은 대체로 추측적인 경향이 있었다. 20세기 초에 에드워드 손다이크는 연결주의 유형의 네트워크를 가정하는 인간 학습에 대해 저술했다.
홉필드 네트워크는 빌헬름 렌츠(1920)와 에른스트 이징(1925)의 이징 모델에 선구자가 있었지만, 그들이 고안한 이징 모델은 시간을 포함하지 않았다. 이징 모델의 몬테카를로 시뮬레이션은 1950년대 컴퓨터의 출현을 필요로 했다.
첫 번째 물결
첫 번째 물결은 1943년 워렌 스터지스 매컬록과 월터 피츠로 시작되었으며, 그들은 형식적이고 수학적인 접근을 통해 신경 회로를 이해하는 데 초점을 맞추었다. 그들의 고전적인 논문 "신경 활동에 내재된 아이디어의 논리적 미적분"(1943)은 신경 시스템이 1차 논리를 구현할 수 있음을 보여주었다. 그들은 1930년대 니콜라스 라셰프스키의 연구에 영향을 받았다.
프랭크 로젠블랫은 코넬 항공 연구소에서 근무하면서 1958년 『심리학 리뷰』에 "퍼셉트론: 뇌의 정보 저장 및 조직화를 위한 확률적 모델"이라는 논문을 발표했다. 퍼셉트론은 선형적으로 분리 가능한 패턴을 분류할 수 있는 단순한 단일 층 네트워크였다. 첫 번째 물결은 1969년 마빈 민스키와 시모어 파퍼트가 쓴 원래 퍼셉트론 아이디어의 한계에 관한 책 『퍼셉트론』으로 끝났으며, 이는 미국의 주요 자금 지원 기관이 연결주의 연구에 투자하는 것을 막는 데 기여했다. 몇 가지 주목할 만한 예외를 제외하고, 대부분의 연결주의 연구는 1980년대 중반까지 비활동 기간에 들어섰다. 연결주의 모델이라는 용어는 1982년 『인지 과학』 저널에 제롬 펠드먼과 데이나 발라드가 쓴 논문에서 재도입되었다.
두 번째 물결
두 번째 물결은 1980년대 후반에 꽃을 피웠으며, 제임스 L. 매클렐런드, 데이비드 E. 루멜하트 및 동료들의 1987년 책 『병렬 분산 처리』 이후에 나타났다. 이 책은 단순한 퍼셉트론 아이디어에 대한 개선을 도입했다. 여기에는 입력 및 출력 단위와 함께 은닉 층으로 알려진 중간 처리기가 포함되었고, 기존의 전부 또는 무(all-or-nothing) 함수 대신 시그모이드 활성화 함수의 사용이 포함되었다. 그들의 연구는 시그모이드 활성화 함수의 수학적 특성을 조사하는 데 핵심 인물이었던 존 홉필드의 연구에 기반을 두었다.
1980년대 후반부터 1990년대 중반까지 연결주의는 슈나이더, 테런스 호건, 티엔슨과 같은 연구자들이 연결주의가 심리학과 소위 고전적 인공지능에 근본적인 변화를 나타내는지에 대한 질문을 제기하면서 거의 혁명적인 분위기를 띠었다. 두 번째 물결 연결주의 접근 방식의 일부 장점은 광범위한 기능에 적용 가능성, 생물학적 뉴런에 대한 구조적 근사, 선천적 구조에 대한 낮은 요구 사항, 그리고 우아한 성능 저하 능력이 포함되었다. 단점은 인공 신경망이 정보를 처리하거나 정신 표상의 구성성을 설명하는 방법을 해독하는 어려움과 그 결과 더 높은 수준에서 현상을 설명하는 어려움이 포함되었다.
세 번째 물결과 딥러닝
현재의 세 번째 물결은 딥러닝의 발전으로 특징지어지며, 이는 대규모 언어 모델의 생성을 가능하게 했다. 지난 10년간 딥러닝 네트워크의 성공은 이 접근 방식의 인기를 크게 높였지만, 그러한 네트워크의 복잡성과 규모는 해석 가능성 문제를 증가시켰다. Transformer (architecture)와 같은 현대 아키텍처는 Generative AI의 발전을 주도했으며, OpenAI, Anthropic, Google DeepMind를 포함한 조직에서 모델이 개발되었다. 이러한 시스템은 연결주의 원리에 기반을 두지만 초기 네트워크를 훨씬 넘어서는 규모로 작동하며, NVIDIA 및 AMD와 같은 회사의 특수 하드웨어를 사용하여 방대한 데이터 세트로 수십억 개의 매개변수를 훈련한다.