합성곱 계층은 많은 신경망, 특히 이미지 및 신호 처리에 사용되는 신경망의 핵심 구성 요소이다. 모든 입력 뉴런을 모든 출력 뉴런에 연결하는 완전 연결 계층과 달리, 합성곱 계층은 슬라이딩 윈도우 방식으로 입력 전체에 학습 가능한 필터(커널이라고도 함) 집합을 적용한다. 합성곱으로 알려진 이 연산은 가장자리, 모서리 또는 질감과 같은 지역적 특징을 감지하고, 이러한 패턴이 발생하는 위치를 강조하는 특징 맵을 생성한다. 이 계층의 설계는 밀집 계층에 비해 매개변수 수를 줄이고, 입력 내 위치와 관계없이 패턴을 인식할 수 있는 평행 이동 불변성을 제공한다.
합성곱 계층은 1960년대 데이비드 허블과 토르스텐 비젤이 고양이 시각 시스템의 뉴런이 국소적 자극에 반응한다는 사실을 발견한 생물학적 시각 피질 연구에서 영감을 얻었다. 초기 인공 구현으로는 1980년 후쿠시마 쿠니히코의 네오코그니트론이 있으며, 이후 1990년대 얀 르쿤의 LeNet 구조는 손글씨 숫자 인식에 합성곱 계층을 사용했다. 그 이후로 합성곱 계층은 딥러닝에서 보편화되어 의료 영상부터 자율 주행까지 다양한 응용 분야를 지원하고 있다.
연산 및 하이퍼파라미터
합성곱 계층은 입력 텐서(예: 여러 색상 채널을 가진 2D 이미지)를 받아 필터 집합을 적용한다. 각 필터는 일반적으로 3x3 또는 5x5 크기의 작은 가중치 행렬로, 지정된 보폭(스트라이드, 단계 크기)으로 입력을 가로질러 슬라이딩한다. 각 위치에서 계층은 필터 가중치와 해당 입력 패치 사이의 내적을 계산하여 단일 출력 값을 생성한다. 결과는 각 필터에 대한 2D 활성화 맵이며, 이러한 맵을 깊이 차원을 따라 쌓으면 출력 텐서가 형성된다.
주요 하이퍼파라미터로는 필터 크기, 보폭, 패딩 및 필터 수가 있다. 패딩(종종 제로 패딩)은 출력의 공간 차원을 제어하여 입력 크기를 유지하거나 줄일 수 있게 한다. 보폭은 다운샘플링에 영향을 미치며, 더 큰 보폭은 출력 해상도를 줄인다. 필터 수는 출력 특징 맵의 깊이를 결정하며, 각 필터는 서로 다른 유형의 특징을 감지하도록 학습된다. 합성곱 후에는 일반적으로 ReLU(정류 선형 유닛)와 같은 활성화 함수가 적용되어 비선형성을 도입한다.
매개변수 공유 및 지역 연결성
합성곱 계층을 완전 연결 계층과 구별하는 두 가지 속성은 지역 연결성과 매개변수 공유이다. 지역 연결성은 각 출력 뉴런이 입력의 작은 영역에만 연결된다는 것을 의미하며, 이는 가까운 픽셀이 먼 픽셀보다 더 상관관계가 높다는 아이디어를 반영한다. 매개변수 공유는 동일한 필터 가중치가 모든 공간 위치에서 사용된다는 것을 의미하며, 학습 가능한 매개변수 수를 크게 줄인다. 예를 들어, 3개의 입력 채널과 64개의 출력 필터를 가진 3x3 필터는 333*64 = 1,728개의 가중치만 가지지만, 256x256 이미지를 처리하는 완전 연결 계층은 수백만 개의 가중치가 필요하다. 이러한 효율성 덕분에 합성곱 계층은 고차원 입력에 적합하며 과적합을 방지하는 데 도움이 된다.
현대 구조에서의 역할
합성곱 계층은 많은 고전 및 현대 네트워크 구조의 기초이다. 2015년 카이밍 허와 동료들이 도입한 잔차 네트워크(ResNet)는 스킵 연결과 함께 합성곱 계층을 사용하여 매우 깊은 네트워크(예: 50, 101 또는 152개 계층)를 훈련하고 ImageNet에서 최첨단 결과를 달성했다. 생물의학 이미지 분할을 위해 설계된 U-Net 구조는 스킵 연결을 가진 인코더-디코더 구조에서 합성곱 계층을 사용하여 공간 세부 정보를 보존한다. 또한 합성곱 계층은 훈련을 안정화하기 위해 배치 정규화와 정규화를 위해 드롭아웃과 함께 자주 결합된다.
이미지 외에도 합성곱 계층은 오디오(예: 스펙트로그램), 텍스트(예: 문자 수준 합성곱) 및 시계열 데이터에 적용된다. 또한 이미지 캡셔닝과 같은 작업을 위해 트랜스포머 또는 멀티 헤드 어텐션을 통합한 하이브리드 모델에서도 사용된다. 트랜스포머가 많은 영역에서 두각을 나타내고 있지만, 합성곱 계층은 지역적 특징 추출과 고해상도 입력의 효율적 처리가 필요한 작업에서 여전히 필수적이다.
훈련 및 최적화
합성곱 계층은 역전파를 사용하여 훈련되며, 여기서 필터 가중치에 대한 기울기가 계산되고 네트워크를 통해 전파된다. 표준 최적화 도구는 확률적 경사 하강법(SGD) 또는 Adam과 같은 변형(참조: Adam 최적화 도구)이다. 학습률 스케줄 및 가중치 초기화와 같은 하이퍼파라미터는 수렴에 큰 영향을 미친다. 데이터 증강(예: 무작위 잘라내기, 뒤집기)과 같은 기법은 일반화를 개선하는 데 도움이 된다. 훈련 중에 필터는 점차 더 복잡한 특징을 감지하도록 학습된다. 초기 계층은 가장자리와 색상을 포착하고, 더 깊은 계층은 이를 객체 부분과 전체 객체로 결합한다.
한계 및 대안
합성곱 계층에는 고정된 수용 영역이 깊이에 따라서만 증가하여 장거리 의존성을 포착하는 데 비효율적일 수 있는 한계가 있다. 또한 하이퍼파라미터를 신중하게 조정해야 하며, 특히 큰 입력의 경우 계산 집약적일 수 있다. 대안 및 개선 사항으로는 팽창 합성곱(매개변수를 늘리지 않고 수용 영역을 확장), 깊이별 분리 합성곱(MobileNet에서 효율성을 위해 사용), 공간 위치를 동적으로 가중화하는 어텐션 메커니즘이 있다. 이러한 대안에도 불구하고 합성곱 계층은 NVIDIA 및 Google Cloud와 같은 회사의 하드웨어 최적화 지원을 받아 딥러닝 시스템에서 견고하고 널리 사용되는 구성 요소로 남아 있다.