특성 피라미드 네트워크(FPN)는 객체 탐지 및 기타 컴퓨터 비전 작업을 위해 다중 스케일 특성 맵을 추출하도록 설계된 신경망 아키텍처입니다. Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie가 2017년 논문 "Feature Pyramid Networks for Object Detection"에서 소개한 FPN은 다양한 스케일의 객체를 감지하는 과제를 해결하기 위해, 각 레벨에서 풍부한 의미 정보를 가진 특성 맵 피라미드를 구축합니다. 이는 Faster R-CNN 및 Mask R-CNN과 같은 많은 현대 탐지기의 기초 구성 요소가 되었으며, Machine learning 및 Deep learning 응용 분야에서 널리 사용됩니다.
FPN의 핵심 아이디어는 컨볼루션 Neural network (일반적으로 ResNet과 같은 백본)의 고유한 다중 스케일, 계층적 특성 표현을 활용하고, 높은 수준의 의미적 특성을 낮은 해상도로 전파하는 하향식 경로를 통해 이를 향상시키는 것입니다. 이는 측면 연결을 통해 달성되며, 하향식 경로에서 해당 특성 맵을 병합하여 네트워크가 각 스케일에서 강력한 특성을 생성할 수 있게 합니다. 결과적으로 FPN은 특히 작은 객체에 대한 탐지 성능을 크게 증가시키지 않고 향상시킵니다.
아키텍처
FPN은 두 가지 주요 경로로 구성됩니다: 하향식 경로와 상향식 경로. 상향식 경로는 입력 이미지에 상대적인 보폭이 4, 8, 16, 32픽셀인 여러 스케일에서 특성 맵을 계산하는 표준 순방향 컨볼루션 네트워크 (예: ResNet)입니다. 이 특성 맵은 각 단계의 마지막 잔여 블록 출력에 해당하는 C2, C3, C4, C5로 표시됩니다.
상향식 경로는 더 높은 레이어의 공간적으로 더 거친지만 의미적으로 강한 특징을 업샘플링하여 더 높은 해상도의 특성 맵을 생성합니다. 각 업샘플된 특성 맵은 1x1 컨볼루션 레이어 (채널 차원 축소를 위해) 뒤에 요소별 덧셈으로 해당 상향식 특성 맵과 병합됩니다. 병합된 결과는 3x3 컨볼루션을 거쳐 해당 스케일에 대한 최종 특성 맵을 생성하고, 이를 예측 및 P3, P4, P5로 표시합니다. 이 특성 맵은 객체 탐지에 사용되며, 각 레벨은 특정 크기 범위의 객체를 감지하는 역할을 합니다.
응용
FPN은 객체 탐지 프레임워크에서 널 채택되었습니다. Faster R-CNN에서는 FPN이 Region Proposal Network (RPN) 및 이후의 ROI 기반 분류기의 특성 추출기로 사용되어 모델이 다양한 크기의 객체를 효과적으로 처리할 수 있게 합니다. Mask R-CNN은 FPN을 인스턴스 분할로 확장하며, 다중 스케일 특징을 이용해 분할 마스크를 생성합니다. FPN은 또한 의미 분할 및 키포인트 탐지와 같은 다중 스케일 컨텍스트가 중요한 기타 작업에서도 이점을 제공합니다.
탐지 이외에도 FPN은 U-Net (U-Net)과 같은 생물 의학 이미지 분할을 위한 대칭 인코더-디코더 구조와 유사한 아키텍처를 다른 분야에서 영감을 주었지만, FPN의 특정 측면 설계 (측면 연결 및 상향식 퓨전)은 탐지 작업에 특히 효과적으로 입증되었습니다.
변형 및 개선
FPN의 효율성과 정확성을 향상시기 위해 여러 변형이 제안되었습니다. 예를 들어, EfficientDet에서 사용된 BiFPN (Bidirectional Feature Pyramid Network)은 가중치가 있는 양방향 특성 융합을 도입하여 네트워크가 입력 특성의 중요성을 학습할 수 있게 합니다. 또 다른 변형인 PANet은 저수준과 고수준 특징 간의 정보 경로를 단축하는 추가 하향 경로를 추가합니다. 이러한 개선은 COCO 같은 벤치마크에서 최신 객체 탐지 성능을 한계를 높였습니다.
영향 및 유산
FPN은 컴퓨터 비전 분야에 지속적인 영향을 미쳤습니다. 그의 도입은 단일 스케일 특징에서 다중 스케일 특징 피라미드로의 전환을 나타내며, 이는 탐지 아키텍처에서 표준 관행이 되었습니다. 그 논문은 수천 번 인용되었으며 이후 Residual Network (ResNet) 통풍 및 특징 융합에 대한 연구에 영향을 미쳤습니다. FPN의 원리는 Data Augmentation과 같은 다른 분야에서도 적용되어 훈련 중 스케일 변화를 시뮬레이션합니다.
요약하면, 특성 피라미드 네트워크는 강력한 다중 스케일 객체 탐지를 가능하게 하는 핵심 아키텍처 혁신이며, 그 영향력은 많은 현대 비전 시스템에 걸쳐 있습니다.