완전 컨볼루션 네트워크(FCN)는 의미론적 분할(semantic segmentation)을 위해 설계된 딥러닝 아키텍처의 한 부류로, 이미지의 모든 픽셀에 클래스 레이블을 할당하는 작업을 수행한다. 전체 이미지에 대해 단일 레이블을 출력하는 전통적인 분류 네트워크와 달리, FCN은 입력과 동일한 공간 차원을 가진 조밀한 출력 맵을 생성하여 픽셀 수준의 이해를 가능하게 한다. 2015년 캘리포니아 대학교 버클리 캠퍼스의 조나단 롱, 에반 셸해머, 트레버 다렐이 소개한 FCN은 현대 컴퓨터 비전의 기초적 기여로, 이후 U-Net과 같은 아키텍처와 그 외 많은 모델에 영향을 미쳤다.
FCN의 핵심 혁신은 AlexNet이나 VGG와 같은 분류 네트워크에서 일반적으로 사용되는 완전 연결 계층을 컨볼루션 계층으로 대체한 것이다. 이를 통해 네트워크는 임의 크기의 입력을 받아들이고 고정 길이 벡터 대신 공간 맵을 출력할 수 있다. 아키텍처는 일반적으로 특징을 추출하는 다운샘플링 경로(인코더)와 공간 해상도를 복원하는 업샘플링 경로(디코더)로 구성된다. 업샘플링은 종종 전치 컨볼루션(디컨볼루션이라고도 함) 또는 쌍선형 보간법을 사용하여 수행되며, 경계를 정교화하기 위해 스킵 연결이 추가될 수 있다.
아키텍처 및 설계
FCN은 VGG-16 또는 ResNet과 같은 기본 분류 네트워크 위에 구축되며, 완전 연결 계층은 1x1 컨볼루션으로 변환된다. 그런 다음 네트워크는 일련의 전치 컨볼루션 계층을 사용하여 특징 맵을 입력 해상도로 업샘플링한다. 원래 FCN 논문은 FCN-32s, FCN-16s, FCN-8s의 세 가지 변형을 소개했으며, 이들은 거친 고수준 특징과 정밀한 저수준 특징을 결합하는 데 사용되는 스킵 연결 수에서 차이가 있다. 세 가지 중 FCN-8s는 초기 계층의 예측을 추가하여 가장 우수한 분할 정확도를 달성했다.
FCN을 훈련하려면 픽셀 단위 손실 함수(일반적으로 교차 엔트로피)가 필요하며, 확률적 경사 하강법과 모멘텀과 같은 표준 최적화 기법을 사용한다. 저자들은 또한 배치 정규화와 드롭아웃과 같은 기법을 사용하여 수렴과 일반화를 개선했다.
응용 및 영향
FCN은 의미론적 분할 외에도 의료 영상 분석, 자율 주행, 원격 탐사 등 광범위한 작업에 적용되었다. 의료 영상에서 FCN은 CT 및 MRI 스캔에서 장기나 종양을 분할하는 데 사용되며, 종종 U-Net과 같은 더 고급 모델의 기반이 된다. 자율 주행에서 FCN은 카메라 피드에서 도로 경계, 보행자, 차량을 식별하는 데 도움을 주며, 웨이모와 테슬라 오토파일럿과 같은 기업이 개발한 시스템에 기여한다.
FCN의 영향은 인공지능의 더 넓은 분야로 확장되는데, 이는 컨볼루션 네트워크가 별도의 후처리 단계 없이 조밀한 예측 작업을 위해 종단 간 훈련될 수 있음을 입증했기 때문이다. 이러한 패러다임 전환은 인코더-디코더 모델과 어텐션 기반 접근법을 포함한 후속 아키텍처에 영향을 미쳤다.
한계 및 진화
성공에도 불구하고 FCN에는 한계가 있다. 다운샘플링 중 공간 세부 정보의 손실로 인해 거친 분할 맵을 생성할 수 있으며, 작은 객체나 얇은 구조에 어려움을 겪을 수 있다. 전치 컨볼루션 사용은 체커보드 아티팩트를 유발할 수도 있다. 이러한 문제는 광범위한 스킵 연결을 갖춘 U-Net과 멀티 헤드 어텐션 메커니즘을 통합한 후속 모델과 같은 더 정교한 아키텍처 개발의 동기가 되었다.
현대 의미론적 분할 모델은 종종 FCN 스타일 인코더와 트랜스포머 디코더를 결합하며, SegFormer와 같은 모델에서 위치 인코딩과 크로스 어텐션을 활용하여 장거리 의존성을 포착한다. 그럼에도 불구하고 FCN은 컴퓨터 비전 과정에서 가르치는 기본 개념이자 새로운 방법을 평가하기 위한 기준선으로 남아 있다.
훈련 및 최적화
FCN을 훈련하려면 조밀한 출력이 메모리 집약적이므로 메모리와 계산을 신중하게 처리해야 한다. 데이터 증강(예: 무작위 자르기, 뒤집기)과 학습률 스케줄링과 같은 기법이 일반적으로 사용된다. 원래 구현은 Caffe 프레임워크를 사용했으며 PASCAL VOC 데이터셋에서 훈련되어 당시 최첨단 결과를 달성했다. 이후 작업은 FCN을 COCO 및 Cityscapes를 포함한 다른 프레임워크와 데이터셋에 적용했다.
실제로 FCN은 종종 사전 훈련된 분류 네트워크에서 미세 조정되며, 이는 수렴을 가속화하고 정확도를 향상시킨다. 이러한 전이 학습 접근법은 머신 러닝에서 표준이며 신경망 연구에서 널리 채택되었다.
유산
FCN의 도입은 컴퓨터 비전의 전환점을 표시했으며, 딥 네트워크가 조밀한 예측 작업을 직접 해결할 수 있음을 입증했다. 그 원리는 의료 진단부터 자율 주행 차량에 이르는 수많은 현대 시스템에 내재되어 있다. 2020년대 중반 현재 FCN은 학술 문헌에서 여전히 인용되며 더 고급 모델의 구성 요소로 사용되어 딥러닝 커뮤니티에서 지속적인 관련성을 강조하고 있다.