네오코그니트론(neocognitron)은 1979년 후쿠시마 구니히코가 제안한 계층적 다층 인공 신경망이다. 이는 손글씨 숫자 인식과 같은 패턴 인식 작업을 위해 설계되었으며, 합성곱 신경망(CNN)의 직접적인 영감으로 널리 알려져 있다. 이 모델은 시각 피질에 대한 신경생리학적 발견에 기반을 두고 있으며, 국소 특징 추출과 위치 변화에 대한 허용 오차와 같은 현대 컴퓨터 비전의 핵심 개념을 도입했다.
네오코그니트론의 기원은 후쿠시마의 초기 연구로 거슬러 올라간다. 1969년 그는 포유류의 시각 시스템에서 관찰된 합성곱 연산을 기반으로 한 수작업 설계 커널을 가진 유사한 구조를 발표했다. 이후 1975년에는 이를 개선하여 코그니트론(cognitron)을 제안했고, 1979년에는 모든 합성곱 커널을 비지도 학습으로 학습하는 네오코그니트론을 발표했다. 그는 이러한 학습 방식을 "교사 없이 스스로 조직화되는 학습"이라고 설명했다. 이는 수작업으로 특징을 설계하던 방식에서 데이터로부터 표현을 학습하는 방식으로의 전환을 의미했다.
생물학적 영감
네오코그니트론은 1959년 데이비드 허블(David Hubel)과 토르스텐 비젤(Torsten Wiesel)이 제안한 시각 시스템 모델에서 영감을 얻었다. 그들은 고양이의 일차 시각 피질 연구를 통해 두 가지 유형의 세포를 발견했다: 방향성 있는 선과 가장자리에 반응하는 단순 세포(simple cell)와, 위치 변화에 덜 민감하면서 유사한 특징에 반응하는 복합 세포(complex cell)이다. 또한 그들은 이러한 세포들이 계단식으로 연결되어 시각 정보를 계층적으로 처리한다는 모델을 제안했다. 네오코그니트론은 이러한 계단식 구조를 구현한 자연스러운 확장으로, 시각 경로의 계층적 처리를 모방한 다층 구조를 채택했다.
구조와 메커니즘
네오코그니트론은 여러 층의 세포로 구성되며, 가장 중요한 것은 S세포(S-cell)와 C세포(C-cell)이다. S세포는 수용장 내에서 모서리나 선과 같은 국소 특징을 추출하고, C세포는 S세포가 감지한 특징의 위치 변화를 허용함으로써 약간의 변형이나 이동에도 강인한 반응을 보인다. 신호가 네트워크를 통과하면서 국소 특징은 점차 더 크고 복잡한 표현으로 통합되며, 최종적으로는 상위 층에서 객체 분류가 이루어진다. 이러한 국소 특징 통합의 원리는 이후 합성곱 신경망, SIFT(Scale-Invariant Feature Transform), HOG(Histogram of Oriented Gradients)와 같은 다른 컴퓨터 비전 모델에서도 공통적으로 발견된다.
네오코그니트론의 두드러진 특징 중 하나는 비지도 학습 능력이다. 합성곱 커널은 경쟁적 학습 과정을 통해 스스로 조직화되며, 레이블이 없는 입력 패턴에서 유용한 특징을 발견한다. 이는 현대 CNN에서 주로 사용하는 지도 학습 방식과 대비된다.
변형과 확장
다양한 작업을 수행하기 위해 네오코그니트론의 여러 변형이 개발되었다. 일부 변형은 동일한 입력에서 여러 패턴을 동시에 감지할 수 있도록 확장되었으며, 선택적 주의 메커니즘을 도입하여 특정 객체에 집중할 수 있게 한 버전도 있다. 또한 학습 규칙의 개선, 스케일 및 회전 불변성 향상 등의 발전이 있었지만, 핵심 구조인 계층적이고 생물학적으로 영감을 받은 설계는 유지되었다.
유산과 영향
네오코그니트론은 인공지능과 머신러닝 분야에서 기초적인 모델로 간주된다. 그 계층적 합성곱 설계는 현대 CNN의 발전에 직접적인 영향을 미쳤으며, CNN은 오늘날 컴퓨터 비전과 딥러닝의 초석이 되었다. 네오코그니트론 자체는 현재 널리 사용되지는 않지만, 국소 수용장, 가중치 공유, 계층적 특징 추출과 같은 그 핵심 원리는 사실상 모든 현대 합성곱 구조에 내재되어 있다. 또한 이 모델은 생물학적 시각 처리가 어떻게 계산 모델로 이어질 수 있는지에 대한 이해를 넓히는 데 기여했다.