합성곱 신경망(CNN)은 입력 전반에 걸쳐 작고 공유된 필터를 적용하는 합성곱 계층을 중심으로 구축된 신경망 구조로, 이미지처럼 인접한 픽셀이 서로 관련되고 가장자리나 질감 같은 유용한 패턴이 프레임 어디에나 나타날 수 있는 격자 구조 데이터에 특히 효과적입니다. 모든 공간 위치에 동일한 필터 가중치를 재사용함으로써 CNN은 비슷한 크기의 완전 연결 네트워크보다 훨씬 적은 매개변수가 필요하며, 이미지의 의미가 콘텐츠를 이동시켜도 크게 변하지 않는다는 가정, 즉 평행 이동 불변성(translation invariance)이라는 속성을 자연스럽게 인코딩합니다.
역사
이 구조의 개념적 뿌리는 1980년 시각 피질의 계층적 모델인 후쿠시마 구니히코의 네오코그니트론으로 거슬러 올라가며, 구니히코 후쿠시마가 설명한 이 모델은 역전파를 훈련에 사용하지 않고 계층적 특징 검출을 도입했습니다. 얀 르쿤은 1980년대 후반 합성곱 계층과 역전파를 결합하여 LeNet을 만들었고, 1990년대 중반까지 상업적으로 은행 수표의 필기 숫자를 읽을 수 있게 되어 딥러닝의 초기 실용적 성공 사례 중 하나가 되었습니다. CNN은 약 20년 동안 전문적인 도구로 남아 있다가 2012년, Alex Krizhevsky가 Ilya Sutskever 및 제프리 힌턴과 함께 설계한 AlexNet이 GPU에서 훈련된 깊은 CNN을 사용하여 ILSVRC-2012 ImageNet 대회에서 압도적인 차이로 우승하면서 현대 딥러닝 붐을 촉발한 사건으로 널리 인정받습니다.
구조
전형적인 CNN은 학습된 필터로 지역 패턴을 검출하는 합성곱 계층과 공간 해상도를 줄이면서 가장 강한 검출 특징을 유지하는 풀링 계층을 번갈아 쌓아 올리며, 초기 계층의 가장자리나 색상 같은 저수준 패턴에서 더 깊은 계층의 얼굴이나 사물 같은 고수준 의미 개념으로 점진적으로 발전합니다. 마지막 계층은 일반적으로 완전 연결 계층으로, 추출된 특징을 출력 클래스에 매핑합니다. 이후 VGGNet, ResNet, Inception 같은 구조는 깊이를 훨씬 더 확장했으며, ResNet이 2015년에 도입한 잔차 연결(또는 스킵 연결)은 이전에 매우 깊은 CNN을 일반적인 경사 하강법으로 훈련하기 어렵게 만들던 기울기 소실 문제를 해결했습니다.
응용 분야
CNN은 이미지 분류, 객체 검출, 의미론적 분할, 얼굴 인식을 포함한 컴퓨터 비전 작업의 기본 구조가 되었으며, 자율 주행 인식 시스템, 의료 영상 분석, 초기 생성적 적대 신경망 설계의 구성 요소를 뒷받침합니다. 여기서 CNN은 일반적으로 생성기와 판별기 모두를 형성했습니다. 또한 오디오 스펙트로그램이나 일부 텍스트 분류 작업처럼 데이터가 공유 필터가 활용할 수 있는 지역적이고 격자와 같은 구조를 가진 경우, 비전 외부에도 적용되었습니다.
상대적 우위의 쇠퇴
약 2020년부터 합성곱 필터 대신 이미지 패치에 트랜스포머 구조와 그 주의 메커니즘을 적용하는 비전 트랜스포머(Vision Transformer)가 많은 대규모 비전 벤치마크에서 CNN 성능과 동등하거나 능가했으며, 특히 매우 큰 데이터셋에서 훈련할 때 두드러져, 충분한 데이터와 계산이 가능해지면 합성곱의 내장된 공간 가정이 여전히 필요한지에 대한 논쟁을 촉발했습니다. 그럼에도 CNN은 특히 제한된 자원이나 엣지 AI 환경에서 여전히 널리 사용되는데, 그 귀납적 편향 덕분에 훈련 데이터가 제한적일 때 트랜스포머보다 데이터 효율적이며, 더 큰 다중 모달 시스템 내부의 인코더로 계속 사용되고 있습니다.