Mask R-CNN은 딥러닝 모델로, 이미지에서 각 객체 인스턴스를 픽셀 수준에서 식별하고 경계를 delineate하는 컴퓨터 비전 작업인 인스턴스 분할을 위해 설계되었습니다. 이 모델은 Faster R-CNN 객체 탐지 프레임워크를 확장하여 분할 마스크를 예측하는 병렬 분기를 추가함으로써 객체 탐지와 정밀한 공간적 위치 파악을 동시에 가능하게 합니다. 2017년 페이스북 AI 연구소(현재 Meta의 일부)의 연구자들이 도입한 이 모델은 COCO 데이터셋에서 최첨단 결과를 달성했으며, 이후 많은 분할 모델의 기반 아키텍처가 되었습니다.
객체를 구분하지 않고 모든 픽셀을 범주로 분류하는 의미론적 분할과 달리, 인스턴스 분할은 같은 클래스의 겹치거나 인접한 객체를 분리해야 합니다. Mask R-CNN은 지역 제안 네트워크(RPN)와 마스크 예측 헤드를 결합하여 이 문제를 해결합니다. RPN은 후보 객체 경계 상자를 생성하고, 마스크 분기는 RoIAlign이라는 기법을 사용하여 각 관심 영역(RoI)에 대한 이진 마스크를 출력하여 공간적 정렬을 보존합니다.
아키텍처
이 아키텍처는 신경망 객체 탐지기 계열을 확장한 Faster R-CNN을 기반으로 합니다. Faster R-CNN은 컨볼루션 백본(예: ResNet)을 사용하여 특징 맵을 추출하고, RPN으로 영역을 제안하며, 분류기로 객체 클래스를 예측하고 경계 상자를 정제합니다. Mask R-CNN은 분류 및 상자 회귀 헤드와 병렬로 작동하는 세 번째 분기를 추가합니다. 이 마스크 분기는 각 RoI에 대해 일반적으로 28×28 픽셀 해상도의 이진 마스크를 예측하는 완전 컨볼루션 네트워크이며, 이후 원본 이미지 크기로 업샘플링됩니다.
핵심 혁신은 Faster R-CNN에서 사용된 RoIPool 연산을 대체하는 RoIAlign입니다. RoIPool은 RoI 경계를 양자화하여 추출된 특징과 원본 이미지 사이의 정렬 불일치를 초래합니다. RoIAlign은 이중 선형 보간을 사용하여 양자화를 피하고 정밀한 공간 정보를 보존합니다. 이 개선은 픽셀 정확한 마스크 예측에 중요하며, 작은 정렬 불일치도 분할 품질을 저하시킬 수 있기 때문입니다.
훈련 및 손실
이 모델은 분류 손실(교차 엔트로피), 경계 상자 회귀 손실(평활 L1), 마스크 손실(픽셀당 이진 교차 엔트로피)의 세 가지 구성 요소를 결합한 다중 작업 손실 함수로 종단 간 훈련됩니다. 마스크 분기는 양성 RoI(객체를 포함하는 영역)에 대해서만 훈련되며, 각 RoI는 특정 실제 클래스에 할당되므로 마스크 예측은 클래스별로 이루어집니다. 추론 중에는 마스크 분기가 각 감지된 객체에 대해 실행되며, 최종 출력에는 클래스 레이블, 경계 상자 및 마스크가 포함됩니다.
훈련은 일반적으로 ImageNet에서 사전 훈련된 가중치로 초기화된 모멘텀을 사용한 확률적 경사 하강법을 사용합니다. COCO 데이터셋에서 Mask R-CNN은 ResNet-101 백본으로 마스크 평균 정밀도(AP) 35.7%를 달성하여, 더 복잡한 후처리에 의존했던 FCIS 및 Mask R-CNN의 전신과 같은 이전 방법을 능가했습니다. 이 모델은 Cityscapes 및 의료 영상의 인스턴스 수준 분할 작업을 포함한 다른 벤치마크에서도 강력한 성능을 입증했습니다.
응용 분야
인스턴스 분할은 다양한 분야에 광범위하게 적용됩니다. 자율 주행에서 Mask R-CNN은 보행자, 차량 및 도로 장애물을 식별하고 분리하여 웨이모 및 테슬라 오토파일럿과 같은 기업의 인식 시스템을 개선합니다. 의료 영상에서는 스캔에서 종양, 세포 또는 장기를 분할하여 진단 및 수술 계획을 지원합니다. 로봇 공학에서는 픽셀 수준의 객체 경계를 제공하여 정밀한 객체 조작을 가능하게 합니다. 다른 용도로는 위성 이미지 분석, 농업 모니터링 및 증강 현실이 있으며, 정확한 객체 윤곽이 장면 이해를 향상시킵니다.
이 모델의 유연성은 시간적 일관성이 추가되는 비디오 인스턴스 분할과 인스턴스 분할과 의미론적 분할을 통합 출력으로 결합하는 파놉틱 분할로도 확장됩니다. 특징 피라미드 네트워크(FPN)를 사용한 Mask R-CNN과 같은 변형은 작은 객체의 정확도를 향상시키고, MobileNet과 같은 경량 백본은 엣지 장치에서의 배포를 가능하게 합니다.
영향 및 유산
Mask R-CNN은 인스턴스 분할의 새로운 표준을 설정하여 Cascade Mask R-CNN, Hybrid Task Cascade 및 트랜스포머 기반 DETR 및 Mask2Former와 같은 후속 아키텍처에 영향을 미쳤습니다. Meta AI가 2019년에 출시한 Detectron2 프레임워크의 오픈 소스 구현은 연구 및 산업에서의 채택을 가속화했습니다. 이 모델의 설계 원칙 - 다중 작업 학습, RoIAlign 및 병렬 예측 헤드 - 은 키포인트 감지 및 파놉틱 분할을 포함한 다른 비전 작업에서 널리 재사용되었습니다.
종단 간 트랜스포머 모델의 부상에도 불구하고 Mask R-CNN은 효율성과 정확성으로 인해 견고한 기준선으로 남아 있습니다. 2024년 현재, 계산 리소스가 제한된 프로덕션 시스템에서 여전히 사용되며, 그 개념은 표준 컴퓨터 비전 과정에서 가르쳐집니다. Kaiming He, Georgia Gkioxari, Piotr Dollár 및 Ross Girshick이 ICCV 2017에서 발표한 논문 "Mask R-CNN"은 수천 건의 인용을 받아 이 분야에 대한 지속적인 영향을 반영합니다.
한계
Mask R-CNN에는 알려진 한계가 있습니다. 2단계 아키텍처로 인해 더 단순한 탐지기보다 느리며, 하드웨어 가속 없이는 실시간 응용이 어렵습니다. 마스크 해상도는 28×28로 고정되어 있어 큰 객체의 미세한 세부 정보를 잃을 수 있습니다. 또한 RPN이 제안을 병합할 수 있는 높은 중첩 인스턴스에서 어려움을 겪습니다. 훈련에는 픽셀 수준 마스크가 있는 대규모 주석 데이터셋이 필요하며, 이는 생산 비용이 높습니다. 추가로, 이 모델은 도메인 이동에 민감하여 훈련 분포 외부의 이미지에서 성능이 저하되는데, 이는 머신 러닝 시스템의 일반적인 문제입니다.
연구는 더 높은 해상도 마스크나 주의 메커니즘 사용과 같은 일부 문제를 해결했지만, 속도와 정확성 사이의 절충은 지속됩니다. 많은 실제 시나리오에서 Mask R-CNN은 정밀도와 적당한 계산 비용을 균형 있게 유지하는 신뢰할 수 있는 선택으로 남아 있습니다.