VGGNet은 옥스포드 대학의 Visual Geometry Group(VGG)이 개발한 합성곱 신경망 아키텍처 제품군을 말한다. 이 모델들은 2014년 논문에서 소개되었으며, 단순하고 모듈식인 설계와 이미지 분류 작업에서의 강력한 성능 덕분에 딥러닝 분야에서 영향력을 갖게 되었다. VGG 제품군은 더 큰 필터를 사용했던 초기 네트워크(예: AlexNet)와 달리, 작은 3x3 합성곱 필터를 일관되고 균일하게 사용하는 것이 특징이다.
VGG 모델들은 다양한 컴퓨터 비전 응용 분야에서 널리 채택되었다. 2014년 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 VGG 네트워크의 앙상블은 최고 수준의 결과를 달성했다. 이 아키텍처는 ResNet 논문에서 비교 기준선으로 사용되었고, 객체 탐지를 위한 Fast Region-based CNN의 기본 네트워크이자 신경 스타일 변환 알고리즘의 구성 요소로도 활용되었다. 이후 Inception, ResNet, DenseNet과 같은 아키텍처들이 VGGNet의 성능을 능가했지만, VGGNet은 합성곱 신경망 발전의 역사적으로 중요한 이정표로 남아 있다.
설계 원리
VGGNet의 핵심 아이디어는 각 레이어를 개별적으로 설계하는 대신, 일반적이고 단순한 모듈을 쌓아 깊은 네트워크를 구축하는 것이었다. 이는 더 이질적인 구조와 더 큰 필터를 사용했던 AlexNet(2012)과 같은 초기 접근 방식과 대조적이었다. VGG 아키텍처는 3x3 합성곱 레이어 블록과 맥스 풀링 레이어를 반복한 후, 일련의 완전 연결 레이어로 마무리되는 구조로 구성된다.
작은 3x3 필터를 일관되게 사용한 것은 주요 혁신이었다. 3x3 합성곱 두 개를 쌓으면 5x5 합성곱 하나와 동일한 수용 영역을 얻을 수 있지만, 파라미터 수는 더 적다(18c² 대 25c², 여기서 c는 채널 수). 이를 통해 더 적은 파라미터로 더 깊은 네트워크를 구축할 수 있었고, 깊이가 증가함에 따라 네트워크는 더 복잡한 특징을 학습할 수 있었다. 원래 논문은 깊고 좁은 네트워크가 얕고 넓은 네트워크보다 훨씬 우수한 성능을 보인다는 것을 입증했다.
아키텍처
VGG 아키텍처는 일반적인 모듈을 순차적으로 쌓아 구성된다. 합성곱 레이어는 보폭(stride) 1의 3x3 필터와 ReLU 활성화 함수를 사용한다. 그 뒤에는 2x2 필터와 보폭 2의 맥스 풀링 레이어가 이어지며, 이는 특징 맵의 너비와 높이를 절반으로 줄이면서 채널 수는 유지한다.
합성곱과 풀링 단계가 끝나면 4096-4096-1000 크기의 세 개의 완전 연결 레이어가 이어진다. 마지막 레이어는 ImageNet 데이터셋의 1000개 클래스에 해당하는 1000개의 유닛을 가지며, 소프트맥스 레이어가 클래스에 대한 최종 확률 분포를 생성한다.
구성 및 깊이
VGG 제품군은 문자와 가중치 레이어 수로 표기되는 여러 구성으로 제공된다. 가장 일반적으로 사용되는 변형은 VGG-16과 VGG-19이다. VGG-16은 13개의 합성곱 레이어와 3개의 완전 연결 레이어로 구성되며 총 약 1억 3800만 개의 파라미터를 가진다. VGG-19는 16개의 합성곱 레이어와 3개의 완전 연결 레이어로 구성되며 약 1억 4400만 개의 파라미터를 가진다. 이들은 각각 원래 논문의 구성 D와 E에 해당한다.
일반적인 VGG 아키텍처에서 합성곱 단계는 블록으로 구성되며, 각 블록은 하나 이상의 3x3 합성곱 레이어와 보폭 2의 2x2 맥스 풀링 레이어로 이루어진다. 풀링 레이어는 특징 맵을 절반으로 다운샘플링한다. 채널 수는 네트워크를 통해 점진적으로 증가하여 첫 번째 블록의 64개에서 가장 깊은 블록의 512개까지 늘어난다. 마지막 단계는 4096, 4096, 1000 크기의 세 개의 완전 연결 레이어와 1000개의 ImageNet 클래스에 대한 분류를 위한 소프트맥스 레이어로 구성된다.
훈련 및 성능
VGG 모델은 1000개 범주에 걸쳐 1400만 개 이상의 이미지를 포함하는 ImageNet 데이터셋에서 훈련되었다. 이러한 깊은 네트워크를 훈련하려면 상당한 계산 자원과 세심한 조정이 필요했다. 모델은 무작위 잘라내기와 수평 뒤집기와 같은 데이터 증강 기법을 사용하여 여러 에포크 동안 훈련되었다.
2014년 ILSVRC 대회에서 VGG 모델의 앙상블은 최첨단 결과를 달성하여 아키텍처의 효과를 입증했다. 특히 VGG-16 모델은 이미지 분류 작업의 표준 기준선이 되었으며, 더 작은 데이터셋의 다른 작업에 네트워크를 적용하는 전이 학습에 널리 사용되었다.
영향 및 유산
VGGNet은 대형 커널(최대 11x11)을 사용하던 기존 방식에서 훨씬 더 작은 3x3 필터로 전환하는 데 중요한 역할을 했다. 이 설계 선택은 이후 많은 아키텍처에 영향을 미쳤다. VGG 네트워크는 객체 탐지를 위한 Fast Region-based CNN(Fast R-CNN) 프레임워크의 백본과 신경 스타일 변환 알고리즘의 기본 네트워크를 포함한 다양한 작업에서 광범위하게 사용되었다.
이 아키텍처의 간단한 설계는 연구자와 실무자들에게 인기 있는 선택지가 되었다. VGGNet의 성공은 깊이와 작고 균일한 필터의 조합이 강력한 성능을 낼 수 있음을 보여주었다. 그러나 이 모델은 완전 연결 레이어로 인해 계산 비용이 많이 들고 메모리 사용량이 크다는 단점이 있었다.
VGG 시리즈는 궁극적으로 더 적은 파라미터로 더 나은 성능을 달성한 Inception, ResNet, DenseNet과 같은 더 효율적인 아키텍처에 의해 대체되었다. 2021년에는 RepVGG 아키텍처가 현대적인 기술로 VGG 스타일의 단순한 설계를 재해석하여, 단순한 VGG 유사 네트워크가 다시 한번 최첨단 성능에 도달할 수 있음을 보여주었다. 그럼에도 불구하고 원래의 VGGNet은 다양한 전이 학습 응용 분야, 특히 객체 탐지와 스타일 변환에서 특징 추출기로 여전히 일반적으로 사용되고 있다.