합성곱 신경망(CNN)은 필터(또는 커널) 최적화를 통해 특징을 학습하는 순방향 신경망의 한 유형이다. 이러한 유형의 딥러닝 네트워크는 텍스트, 이미지, 오디오를 포함한 다양한 종류의 데이터를 처리하고 예측을 생성하는 데 적용되어 왔다. CNN은 컴퓨터 비전 및 이미지 처리 분야의 딥러닝 기반 접근 방식에서 사실상의 표준이며, 최근에야 일부 경우에 Transformer (architecture)와 같은 더 새로운 아키텍처로 대체되고 있다.
CNN은 입력 특징을 따라 슬라이딩하며 변환-등변(translation-equivariant) 응답인 특징 맵(feature map)을 제공하는 컨볼루션 커널 또는 필터의 가중치 공유 구조에 기반하여, 이동 불변(shift invariant) 또는 공간 불변 인공 신경망이라고도 불린다. 직관과는 달리, 대부분의 합성적 신경망은 입력에 적용하는 다운샘플링(downsampling) 연산 때문에 이동(motion, 번역, translation)에 불변하지 않다.
구조
합성적 신경망은 입력 층, 은닉 층, 그리고 출력 층으로 구성된다. 합성적 신경망에서 은닉 층은 컨볼류션(convolution)을 수행하는 하나 이상의 층을 포함한다. 일반적으로, 이는 컨볼류션 커널과 해당 층의 입력 행렬 간의 내적(dot product)을 수행하는 층을 포함한다. 이 곱은 통상적으로 프로베니우스 내적(Frobenius inner product)이며, 그 활성화 함수는 보통 ReLU이다. 컨볼류션 커널이 그 층의 입력 행렬을 따라 슬라이드함에 따라, 컨볼류션 연산은 특징 맵을 생성하며, 이는 차례로 다음 층의 입력에 기여한다. 그 뒤로는 풀링 층(pooling layer), 완전 연결 층(fully connected layer), 그리고 정규화 층(normalization layer)과 같은 다른 층들이 이어진다.
컨볼류션 층
CNN에서 입력은 형태: (입력 수) × (입력 높이) × (입력 너비) × (입력 채널)을 가진 텐서(tensor)이다. 컨볼리션 층을 통과한 후, 이미지는 형태: (입력 수) × (특징 맵 높이) × (특징 맵 너비) × (특징 맵 채널)을 가진 특징 맵(활성화 맵이라고도 함)으로 추상화된다. 컨볼리션 층은 입력을 컨볼류시키고 그 결과를 다음 층에 전달한다. 이것은 시각 피질의 뉴런이 특정 자극에 반응하는 것과 유사하다. 각 컨볼류션 뉴런은 자신의 수용 영역(receptive field)에 대한 데이터만 처리한다.
완전 연결 순방향 신경망은 특징을 학습하고 데이터를 분류하는 데사용될 수 있지만, 이 구조원은 각 픽셀이 관련 입력 특징이기 때문에 대부분의 큰 입력(예: 고해상도 이미지)의 경우에는 실용적이지 않으며, 엄청난 수의 뉴런이 필요하다. 100 × 100 크기 이미지에 대한 완전 연결 층은 두 번째 층의 각 뉴런에 대해 10,000개의 가중치를 가진다. 컨볼리션은 자유 매개변수의 수를 줄여 네트워크를 더 깊게 만들 수 있다. 예를 들어, 동일한 공유 가중치를 각각 가지는 5 × 5 기반 타일링 별 경우는 단 25개의 뉴런만으로 재사용된다. 공유 가중치를 사용한다는 것은 매개변수가 훨씬 적다는 것을 의미하며, 이는 이전 신경망의 역전파 동안 관찰되던 사라지는 그라데이션(vanishing gradient) 및 폭발하는 그라데이션(exploding gradient) 문제를 피하는 데 도움이 된다.
처리 속도를 높이기 위해, 표준 컨볼리션 층은 깊이별 분리 컨볼리션(depthwise separable convolution) 층으로 대체될 수 있는데, 이는 깊의별분리 컨볼리션(depthwise convolution)에 이어 포인트별 컨볼이션(pointwise convolution)이 연속된 것에 기반한다. 깊이별 컨볼류션은 입력 데이터의 각 채널에 대해 독립적으로 적용되는 공간 컨볼류션입니다, 반면 포인트별 컨볼류션은 1 × 1 커널 사용으로 제한된 표준 컨볼류션입니다.
풀링 층
컨볼류션 네트워크는 전통적인 컨볼류션 층과 함께 로컬 및/또는 글로벌 풀링 층을 포함할 수 있습니다. 풀링 층은 한 층의 뉴런 클러스터 출력을 다음 층의 단일 뉴런으로 결합하여 데이터의 차원을 줄입니다. 로컬 풀링은 작은 클러스터를 결합하며, 공통적으로 2× 2와 같은 타일링 크기를사용합니다. 글로벌 풀링은 특징 맵의 모든 뉴런에 적용됩니다. 널리사용되는 두 가지 일반적인 풀링 유형은 가 있다: 최대(max) 오류와 평균(average)입니다. 최대 풀링은 특징 맵의 각 로컬뉴런 클러스터의 최댓값을 사용하고, 평균 풀링은 평균 값을가집니다.
완전 연결 층
완전 연결 층은 한 층의 모든 뉴런을 다른 층의 모든 뉴런에 연결합니다. 이는 전통적인 다층 퍼셉트론 신경망(MLP)과 동일합니다. 완전 연결 층의 각 뉴런은 이전 층의 모든 뉴런으로부터 입력을 받습니다. 받은 입력은, 가중치가 적용되고 해당하는 편향을 더한 후 활성화 함수를 통과시켜 비선형 변환을 수행하여 출력을 생성합니다. 평탄화된 행렬은 완전 연결 층을 거쳐 이미지를 분류하는 데 사용됩니다.
생물학적 영감
컨볼류션 네트워크는 뉴런 간의 연결 패턴이 동물의 시각 피질(visual cortex) 구조와 유사하다는 점에서 생물학적 과정에서 영감을 받았습니다. 개별 피질 뉴런은 수용된 영역(receptive field)으로 알려진 제한된 시야 영역에만 자극에 반응합니다. 서로 다른 뉴런의 수용 영역은 부분적으로 겹쳐서 전체 시각 필드를 덮습니다. 이 생물학적 유추는 컨볼류션 층의 설계에 영감을 주었는데, 각 뉴런이 수용 영역 구조를 모방하여 로컬 지역에서 입력을 처리합니다.
정규화와 과적합(Overfitting)
피드포워드 신경망은 일반적으로 완전 연결 네트워크, 즉 한 층의 각 뉴런이 다음 층의 모든 뉴런에 연결된 구조이다. 이러한 네트워크의 "완전 연결성"은 데이터에 과적합되기 쉽게 만든다. 정규화 또는 과적합 방지를 위한 일반적인 방법으로는 훈련 중 매개변수에 패널티를 부여하거나(가중치 감쇠 등) 연결을 줄이는 방식(건너뛴 연결, 드롭아웃 등)이 있다. 또한 견고한 데이터셋은 CNN이 특정 데이터셋의 편향보다는 해당 데이터셋을 특징짓는 일반화된 원리를 학습할 확률을 높인다. 게다가 CNN의 공유 가중치 구조는 본질적으로 매개변수 수를 줄여 과적합을 완화하는 데 도움이 되는 정규화의 한 형태를 제공한다.
응용 분야
CNN의 응용 분야로는 이미지 및 비디오 인식, 추천 시스템, 이미지 분류, 이미지 분할, 의료 영상 분석, 자연어 처리, 뇌-컴퓨터 인터페이스, 금융 시계열 분석 등이 있다. 컴퓨터 비전에서 CNN은 객체 탐지, 얼굴 인식, 자율 주행과 같은 작업에 널리 사용되어 왔다. 자연어 처리에서 CNN은 텍스트 분류와 감정 분석에 적용되었지만, 많은 이러한 작업에서 트랜스포머 기반 모델로 대체되었다. CNN의 다재다능함은 저수준 가장자리에서 고수준 의미론적 개념에 이르는 계층적 특징을 학습하는 능력에서 비롯된다.
장점과 한계
CNN은 다른 이미지 분류 알고리즘에 비해 상대적으로 적은 전처리를 사용한다. 이는 네트워크가 자동 학습을 통해 필터(또는 커널)를 최적화하는 반면, 전통적인 알고리즘에서는 이러한 필터가 수작업으로 설계된다는 것을 의미한다. 이는 과정을 단순화하고 자동화하여 효율성과 확장성을 향상시키고 인간 개입의 병목 현상을 극복한다. 그러나 CNN은 다운샘플링 연산으로 인해 본질적으로 평행 이동 불변성을 갖지 않으며, 이는 특정 작업에서 한계가 될 수 있다. 또한 CNN이 컴퓨터 비전에서 지배적이었지만, 특히 대규모 데이터와 계산 자원이可用할 때 트랜스포머와 같은 새로운 아키텍처가 일부 응용 분야에서 이를 대체하기 시작했다.
다른 신경망 유형과의 관계
CNN은 신경망의 특수한 형태이자 딥러닝 아키텍처의 하위 집합이다. 이들은 컨볼루션 및 풀링 계층을 사용한다는 점에서 완전 연결 네트워크와 다르며, 이는 매개변수 수를 줄이고 계층적 특징 추출을 가능하게 한다. 주의 메커니즘에 의존하는 트랜스포머와 비교하여 CNN은 로컬 수용 필드와 공유 가중치를 사용하므로 격자형 데이터에 대해 매개변수 효율성이 더 높지만, 추가 수정 없이는 장거리 의존성을 포착하는 능력이 떨어진다. 트랜스포머의 부상에도 불구하고 CNN은 머신러닝에서 기초적인 아키텍처로 남아 있으며, 컨볼루션과 주의 기반 구성 요소를 결합한 하이브리드 모델에서 계속 사용되고 있다.
향후 방향
연구는 효율성을 위한 깊이별 분리 컨볼루션, 소실 기울기를 해결하기 위한 잔차 연결, 다른 아키텍처와의 통합 등 CNN을 개선하는 방향으로 계속 진행되고 있다. 배치 정규화 및 드롭아웃과 같은 기법은 훈련을 안정화하고 과적합을 방지하기 위해 일반적으로 사용된다. 2020년대 초반 기준으로 CNN은 컴퓨터 비전에서 표준 도구로 남아 있지만, 특히 대규모 환경에서 트랜스포머 기반 모델에 의해 그 지배력이 도전받고 있다. 지속적인 연구는 두 접근 방식의 강점을 결합하여 다양한 응용 분야에 더 견고하고 효율적인 모델을 만드는 것을 목표로 한다.