Faster R-CNN은 2015년 6월에 도입된 딥러닝 기반의 객체 탐지 및 위치 파악 모델로, R-CNN 계열의 진화형이다. 이 모델은 신경망 아키텍처 내에서 직접 영역 제안을 생성하여 외부 선택적 검색의 필요성을 제거하고 종단 간 훈련을 가능하게 한다. 이러한 설계는 속도와 정확성을 크게 향상시켜 컴퓨터 비전 분야의 기초적인 방법론이 되었다.
R-CNN 계열은 Ross Girshick과 Kaiming He를 포함한 연구자들에 의해 개발되었으며, 이미지에서 객체를 식별하여 경계 상자와 클래스 레이블을 생성하는 작업을 다룬다. Faster R-CNN은 제안 단계를 네트워크에 통합함으로써 전신인 R-CNN(2013년 11월)과 Fast R-CNN(2015년 4월)을 기반으로 구축되었으며, 이는 계산 오버헤드를 줄이고 실시간 성능을 향상시키는 핵심 혁신이다.
아키텍처
Faster R-CNN은 두 가지 주요 구성 요소로 이루어져 있다: 입력 이미지에서 특징 맵을 추출하는 합성곱 백본(예: VGG 또는 ResNet)과 이러한 특징 맵에서 후보 객체 영역을 생성하는 영역 제안 네트워크(RPN)이다. RPN은 다양한 스케일과 종횡비의 앵커 박스 세트를 사용하여 객체성 점수와 경계 상자 정제를 예측한다. 제안된 영역은 이후 ROI 풀링과 완전 연결 계층을 포함하는 탐지 헤드에서 처리되어 분류 및 경계 상자 회귀를 수행한다.
영역을 생성하기 위해 선택적 검색(계층적 그룹화 알고리즘)에 의존했던 이전 버전과 달리, Faster R-CNN은 특징 맵에서 직접 영역을 제안하도록 학습하여 전체 파이프라인을 미분 가능하게 만들고 종단 간 훈련을 가능하게 한다.
R-CNN의 진화
R-CNN 계열은 각각 이전 버전의 한계를 해결하며 여러 버전으로 발전해 왔다:
- R-CNN(2013년 11월): 선택적 검색을 사용하여 최대 2000개의 후보 영역을 생성한 후 각 영역에 대해 CNN을 독립적으로 실행했다. 이는 중복 계산으로 인해 계산 비용이 높았다.
- Fast R-CNN(2015년 4월): 전체 이미지에 대해 CNN을 한 번 실행하고 ROI 풀링을 도입하여 각 영역의 특징을 추출함으로써 속도를 크게 개선했다. 여전히 제안 생성에는 선택적 검색에 의존했다.
- Faster R-CNN(2015년 6월): 선택적 검색을 학습된 영역 제안 네트워크로 대체하여 시스템을 완전히 신경망 기반으로 만들고 더 빠르게 했다.
- Mask R-CNN(2017년 3월): 픽셀 단위 마스크를 위한 분기를 추가하여 Faster R-CNN을 인스턴스 분할로 확장했으며, 분수 픽셀 정렬을 처리하기 위해 ROI 풀링을 ROIAlign으로 대체했다.
- Cascade R-CNN(2017년 12월): 점진적으로 증가하는 교차 결합(IoU) 임계값으로 훈련하여 위치 파악 정확도를 개선했다.
- Mesh R-CNN(2019년 6월): 2D 이미지에서 3D 메시를 생성하는 기능을 추가했다.
이러한 발전은 R-CNN의 적용 범위를 드론 카메라 객체 추적, 텍스트 위치 파악, Google Lens와 같은 제품 통합 등의 작업으로 확장했다.
훈련 및 성능
Faster R-CNN은 분류 손실(예: 교차 엔트로피)과 경계 상자 정제를 위한 회귀 손실(예: smooth L1)을 결합한 다중 작업 손실을 사용하여 훈련된다. RPN과 탐지 헤드는 교대 최적화 또는 통합 손실을 사용한 종단 간 훈련을 통해 공동으로 훈련할 수 있다. 이 모델은 ImageNet과 같은 대규모 데이터셋에서 사전 훈련된 백본을 활용한 후 COCO 또는 PASCAL VOC와 같은 대상 데이터셋에서 미세 조정함으로써 이점을 얻는다.
성능 측면에서 Faster R-CNN은 벤치마크 데이터셋에서 최첨단 결과를 달성하며, 전신에 비해 상당한 속도 향상을 보여준다. 예를 들어, PASCAL VOC 2007에서 평균 정밀도(mAP) 약 73.2%를 달성하면서 GPU에서 초당 5프레임으로 실행되어 Fast R-CNN보다 크게 개선되었다.
응용 및 영향
Faster R-CNN은 객체 탐지의 초석이 되었으며 많은 후속 아키텍처에 영향을 미쳤다. 그 영역 제안 메커니즘은 자율 주행(예: Waymo 및 Tesla), 의료 영상, 로봇 공학 등 다양한 분야에서 채택되었다. 실시간 객체 탐지 능력은 비디오 감시, 증강 현실, 이미지 검색 등의 응용을 가능하게 했다.
또한 R-CNN 계열은 인스턴스 분할(Mask R-CNN) 및 3D 재구성(Mesh R-CNN)과 같은 다른 작업으로 확장되었다. Mask R-CNN은 신경망 훈련을 가속화하는 경쟁인 MLPerf 훈련 벤치마크의 7가지 작업 중 하나이기도 하며, 이는 실용적 중요성을 강조한다.