세포형 신경망(CNN)은 병렬적이고 국소적으로 연결된 계산을 위해 설계된 인공 신경망의 한 유형이다. 전역 연결을 가진 기존 신경망과 달리, CNN은 규칙적인 셀(뉴런) 격자로 구성되며, 각 셀은 인접한 이웃과만 상호작용한다. 이러한 구조는 생물학적 망막과 세포 자동자의 구조를 모방하여 이미지와 같은 2차원 신호의 효율적인 실시간 처리를 가능하게 한다. 이 개념은 1988년 캘리포니아 대학교 버클리에서 Leon O. Chua와 Lin Yang에 의해 도입되었으며, 이후 이미지 처리, 패턴 인식, 동적 시스템 시뮬레이션에 응용되었다.
CNN의 정의적 특징은 국소 연결성이다. 각 셀은 작은 이웃(일반적으로 3x3 또는 5x5 영역)으로부터 입력을 받고, 일련의 미분 방정식에 기반하여 상태를 업데이트한다. 이러한 국소성은 완전 연결 네트워크에 비해 연결 수를 줄여 높은 병렬성을 가진 하드웨어 구현을 가능하게 한다. CNN은 연속 시간(아날로그) 및 이산 시간(디지털) 모드 모두에서 작동할 수 있으며, 네트워크의 동역학을 정의하는 다양한 템플릿을 지원한다. 이러한 템플릿은 에지 검출, 노이즈 필터링, 특징 추출과 같은 연산을 수행하도록 프로그래밍될 수 있다.
역사와 발전
세포형 신경망은 1988년 IEEE Transactions on Circuits and Systems에 게재된 Chua와 Yang의 논문 "Cellular Neural Networks: Theory and Applications"에서 제안되었다. 초기 동기는 전자 회로의 아날로그 특성을 활용하여 이미지 처리를 위한 실시간, 저전력 프로세서를 만드는 것이었다. 초기 구현은 연산 증폭기와 저항기를 사용했지만, 이후 버전은 디지털 논리와 필드 프로그래머블 게이트 어레이(FPGA)를 통합했다.
1990년대에 연구자들은 원래 CNN 모델을 비선형 템플릿, 다층 구성, 학습 알고리즘을 포함하도록 확장했다. 1993년 Tamás Roska와 Chua가 도입한 CNN 유니버설 머신(CNN-UM)은 프로그래밍 가능한 프레임워크를 제공하여 소프트웨어 에뮬레이션과 하드웨어 프로토타이핑을 가능하게 했다. 이는 헝가리 과학 아카데미가 개발한 ACE16k 칩으로 이어졌으며, 이 칩은 초당 수천 프레임으로 128x128 이미지를 처리할 수 있었다. 이러한 발전에도 불구하고, 2010년대 딥 러닝의 부상은 연구 초점을 합성곱 신경망(CNN)으로 전환시켰으며, 이는 이름을 공유하지만 구조와 훈련 방법에서 근본적으로 다르다.
구조와 작동
세포형 신경망은 M x N 셀의 격자로 정의되며, 각 셀은 상태 변수, 입력, 출력을 가진다. 셀의 동역학은 자체 상태, 이웃 셀의 입력과 출력, 바이어스 항을 통합하는 1차 미분 방정식에 의해 지배된다. 상호작용 가중치는 A-템플릿(피드백)과 B-템플릿(피드포워드)이라는 두 행렬로 지정된다. 이러한 템플릿은 일반적으로 3x3과 같이 작으며 모든 셀에 걸쳐 동일하여 네트워크에 평행 이동 불변 특성을 부여한다.
각 셀의 출력은 상태의 비선형 함수이며, 종종 조각별 선형 시그모이드이다. 이는 템플릿 값에 따라 안정적인 고정점, 진동, 혼돈을 포함한 복잡한 동작을 네트워크가 나타낼 수 있게 한다. 실제로 CNN은 종종 공간 필터로 사용된다. 적절한 템플릿을 선택함으로써 네트워크는 Sobel 에지 검출, 가우시안 평활화, 형태학적 변환과 같은 연산을 수행할 수 있다. 네트워크의 병렬 특성은 모든 셀이 동시에 업데이트됨을 의미하며, 이는 하드웨어 가속에 적합하다.
응용 분야
세포형 신경망은 주로 이미지 및 비디오 처리에 적용되었다. 감시 시스템에서 실시간 에지 검출, 이미지 분할, 모션 감지에 사용된다. 의료 영상에서 CNN은 X선 및 MRI 이미지 향상과 망막 스캔의 이상 징후 감지에 사용되었다. CNN의 아날로그 구현은 낮은 전력 소비를 제공하여 휴대용 장치와 임베디드 시스템에 유리하다.
이미지 처리 외에도 CNN은 편미분 방정식 해결, 반응-확산 시스템 모델링, 생물학적 신경망 시뮬레이션에 사용되었다. 또한 연상 메모리와 패턴 분류 작업에도 탐구되었다. 그러나 머신 러닝과 생성형 AI의 출현으로 대부분의 실제 응용은 이제 GPU에서 구현된 합성곱 신경망(CNN)에 의존하며, 이는 더 큰 유연성과 확장성을 제공한다. 2020년대 현재, 세포형 신경망은 주로 학술 환경과 특수 하드웨어 연구에서 연구되는 틈새 주제로 남아 있다.
합성곱 신경망과의 비교
유사한 약어에도 불구하고, 세포형 신경망과 합성곱 신경망은 구별된다. 합성곱 신경망은 학습된 필터를 가진 피드포워드 구조로, 대규모 데이터 세트에서 역전파를 통해 훈련된다. 공간 위치에 걸쳐 공유 가중치와 여러 계층을 사용하여 계층적 특징을 추출한다. 대조적으로, 세포형 신경망은 고정되거나 수동으로 조정된 템플릿을 가진 순환적이고 국소적으로 연결된 시스템이며, 종종 아날로그 하드웨어로 구현된다. 전자는 이미지 인식 및 자연어 처리와 같은 작업에서 뛰어나며, 후자는 실시간, 저전력 신호 처리에 적합하다.
두 이름 모두에서 "세포형"이라는 용어는 처리 단위의 격자형 배열을 나타내지만, 작동 원리는 다르다. 세포형 신경망은 연속 시간 동역학과 국소 상호작용을 강조하는 반면, 합성곱 신경망은 이산 합성곱과 비선형 활성화에 의존한다. 이러한 구별은 주어진 응용에 적합한 모델을 선택하는 연구자와 엔지니어에게 중요하다.
하드웨어 구현
세포형 신경망의 주요 장점 중 하나는 하드웨어 구현에 적합하다는 점이다. 아날로그 VLSI 구현은 각 셀이 단순한 회로이므로 매우 높은 처리량과 낮은 에너지 소비를 달성할 수 있다. 최초의 전용 CNN 칩인 CNN 유니버설 머신은 1990년대에 개발되어 실시간 비디오 처리를 시연했다. 이후 FPGA 및 주문형 집적 회로(ASIC)를 사용한 디지털 구현은 더 큰 유연성과 정밀도를 제공했다.
Nokia Bell Labs 및 다양한 대학을 포함한 기업과 연구 기관은 엣지 컴퓨팅을 위한 CNN 하드웨어를 탐구했다. 그러나 CNN 하드웨어의 상업적 성공은 딥 러닝을 위해 설계된 Graphcore 및 Groq 가속기에 비해 제한적이었다. 세포형 신경망의 틈새 특성은 대부분의 현대 하드웨어 개발이 현재 AI 환경을 지배하는 Transformer (architecture) 기반 모델과 대규모 언어 모델에 초점을 맞추고 있음을 의미한다.
같이 보기
참고 문헌
- Chua, L. O., & Yang, L. (1988). Cellular Neural Networks: Theory and Applications. IEEE Transactions on Circuits and Systems.
- Roska, T., & Chua, L. O. (1993). The CNN Universal Machine: An Analogic Array Computer. IEEE Transactions on Circuits and Systems II.