인셉션(Inception)은 GoogLeNet으로도 알려진 합성곱 신경망 구조로, Google 연구진이 개발하여 2014년 ImageNet 대규모 시각 인식 챌린지(ILSVRC)에서 우승했다. 이 네트워크는 높은 분류 정확도를 달성하면서도 계산 효율성을 유지하도록 설계되었으며, 이는 단순히 네트워크의 깊이와 너비를 늘리는 추세에서 크게 벗어난 것이었다. 이름인 GoogLeNet은 LeNet 구조에 대한 경의를 표한 것으로, 인셉션 모듈이 핵심 구성 요소 역할을 한다.
인셉션 모듈은 컨볼루션 레이어에 적절한 커널 크기를 선택해야 하는 과제를 해결하기 위해 고안되었다. 단일 필터 크기를 선택하는 대신, 이 모듈은 1x1, 3x3, 5x5 크기의 여러 필터를 병렬로 적용하고 최대 풀링 연산을 함께 사용한 후 출력을 결합한다. 이를 통해 네트워크는 다양한 크기의 특징을 포착할 수 있다. 더 넓은 레이어의 계산 비용을 제어하기 위해 1x1 컨볼루션이 병목 레이어로 사용되어 더 큰 컨볼루션 전에 입력 채널 수를 줄인다.
구조 및 설계
전체 GoogLeNet 구조는 22개의 레이어(풀링 레이어 포함 시 27개)로 구성되어 있으며, 이는 AlexNet과 같은 이전 구조보다 상당히 깊었다. 네트워크는 인셉션 모듈을 순차적으로 쌓아 일련의 시퀀스로 구성되며, 가끔 최대 풀링 레이어로 공간 차원을 축소한다. 마지막 레이어에는 평균 풀링 레이어, 완전 연결 레이어, 소프트맥스 분류기가 포함된다. 주요 혁신은 학습 중 중간 숨겨진 레이어에 보조 분류기를 부착한 것이었다. 이 보조 출력은 0.3의 가중치로 적용되어 기울기 소실 문제를 완화하고, 기울기가 초기에 더 이른 레이어로 효과적으로 흐를 수 있게 했다.
또한 네트워크는 최종 분류기 앞에 전역 평균 풀링 레이어를 사용했으며, 이전 CNN에서 흔히 사용되던 큰 완전 연결 레이어를 대체했다. 이는 파라미터 수를 크게 줄여 모델의 메모리 효율을 높이고 과적합을 줄였다. 총 파라미터 수는 약 680만 개로, AlexNet의 6000만 개보다 크게 적으면서도 더 높은 정확도를 달성했다.
성능 및 영향
ILSVRC 2014에서 GoogLeNet은 top-5 오류율 6.67%를 달성하며 2위 작품(VGG, 오류율 7.3%)을 능가했고, 2013년 우승작보다 크게 개선된 성능을 보여주었다. 이 결과는 특히 모델이 경쟁 구조보다 더 깊고 파라미터 효율적이었다는 점에서 주목할 만했다. 인셉션의 성공은 단순한 규모가 아니라 신중하게 설계된 구조 구성 요소가 성능 향상을 주도할 수 있음을 입증한 것이다.
인셉션 구조는 이후 딥 러닝 연구에 영향력을 확립했다. 배치 정규화와 분해된 컨볼루션을 소개한 인셉션-v2 및 인셉션-v3를 포함한 일련의 개선을 자극했다. 다중 채도 특징 추출과 병목 레이어의 원리는 이후 많은 구조에서 널리 채택되었다. 또한 이 모델은전이 학습의 기초가 되었으며, 사전 학습된 GoogLeNet 가중치는 많은 컴퓨터 비전 응용 분야에서 사용되었다.
기술적 가치
인셉션 모듈의 1x1 컨볼루션 사이즈 축소 기법은 주요 기여였다. 각 픽셀의 크기를 독립적으로 변환하는 컨볼루션은 공간 정보를 유지하면서 채널 수를 줄여, 복잡한 계산 비용 없이 더 깊고 넓은 네트워크를 가능하게 했다. 이 기술은 이후 ResNet과 같은 다른 구조에서도 대중화되었다.
보조 분류기은 추론 중에는 사용되지 않았지만, 학습에 핵심이었다. 중간 깊이에 추가 기울기 신호를 제공하여 기존 수의 기울기 소멸 문제를 완화했다. 이 접근 방식은 나중에 단순 연결로 대체되었지만, 딥 네트워크 학습 기술의 발전에서 중요한 단계를 나타냈다.
유산 및 영향
인셉션 구조는 설계 우아함이 단순 규모 확장을 능가하고 기반 수 있음을 보여주었다. 이 성공은 신경망의 구조 탐색과 모듈 설계의 중요성을 입증하는 데 기여했다. GoogLeNet 모델은 새로운 학습 기법을 평가하는 표준 기준이 되었으며, 사전 학습된 버전은 머신 러닝 커뮤니티에서 널리 사용되었다.
인셉션에서 소개된 다중 분기 컨볼루션, 병목 레이어 같은 아이디어는 생성형 AI 및 기타 영역에서 현대 구조에 널리 통합되었다. 이 모델은 네트워크 깊이의 큰 증가 추세와 함께, ResNet 같은 매우 깊은 네트워크의 개발에도 기여했다. 오늘날 인셉션은 인공 지능과 컴퓨터 비전 역사의 근본 게재지로 남아 있으며, 신중한 구조 설계가 중요한 발전을 불러올 수 있음을 보여준다.