EfficientDet는 Google 연구진이 2019년에 개발한 객체 탐지 모델군이다. 이 모델들은 높은 정확도를 유지하면서도 계산 비용을 최소화하도록 설계되어, 모바일 기기 및 엣지 컴퓨팅 플랫폼과 같은 제한된 자원 환경에서의 배포에 적합하다. EfficientDet의 핵심 혁신은 신경망의 깊이, 너비, 입력 해상도를 동시에 조정하는 복합 스케일링(compound scaling) 기법을 적용하여 다양한 자원 예산에 맞춰 성능을 최적화한 것이다.
EfficientDet 아키텍처는 효율적인 이미지 분류 모델인 EfficientNet 계열의 성공을 기반으로 구축되었다. EfficientNet은 네트워크 차원의 세심한 스케일링만으로도 효율성을 크게 향상시킬 수 있음을 입증했다. EfficientDet은 이러한 원리를 객체 탐지 작업에 확장했는데, 객체 탐지는 이미지 내 객체를 분류할 뿐만 아니라 경계 상자(bounding box)로 위치를 파악해야 하는 더 복잡한 작업이다. 이 아키텍처는 양방향 교차 스케일 연결과 가중치 기반 특징 융합 메커니즘으로 강화된 특징 피라미드 네트워크(FPN)를 통합하여, 서로 다른 스케일의 정보를 효과적으로 결합한다.
아키텍처 및 설계
EfficientDet의 백본(backbone)은 사전 훈련된 EfficientNet 모델로, 특징 추출기 역할을 수행한다. 백본은 입력 이미지를 처리하여 여러 해상도의 특징 맵을 생성한다. 이러한 특징 맵들은 양방향 특징 피라미드 네트워크(BiFPN)에 입력되는데, BiFPN은 서로 다른 레벨의 특징을 반복적으로 융합한다. 기존 FPN이 단순 덧셈을 사용한 반면, BiFPN은 각 입력 특징에 학습 가능한 가중치를 적용하여 더 정보가 풍부한 스케일이 더 큰 영향을 미치도록 한다.
EfficientDet의 헤드(head)는 분류와 경계 상자 회귀를 동시에 수행한다. 모든 특징 레벨에 대해 공유 컨볼루션 헤드를 사용함으로써 파라미터 수를 줄이고 효율성을 높였다. 또한 복합 스케일링 방법을 통해 백본의 깊이, BiFPN의 깊이와 너비, 입력 해상도를 하나의 계수로 균일하게 조정하여, 단일 아키텍처 설계로 다양한 정확도-속도 트레이드오프를 제공한다.
복합 스케일링
복합 스케일링은 EfficientDet 효율성의 핵심 원리이다. 이 방법은 EfficientNet에서 처음 소개되었으며, 네트워크의 깊이, 너비, 해상도를 제어하는 일련의 스케일링 계수를 사용한다. EfficientDet의 경우, 이러한 계수들은 검증 세트에 대한 그리드 검색을 통해 결정되며, 주어진 계산 예산(FLOPs) 내에서 정확도를 최대화하는 것을 목표로 한다.
이 접근 방식은 각 대상 플랫폼에 대해 수동으로 아키텍처를 조정해야 했던 기존 객체 탐지 모델들과 대비된다. 스케일링 과정을 자동화함으로써, EfficientDet은 가장 작은 EfficientDet-D0부터 가장 큰 EfficientDet-D7까지 일련의 모델을 생성할 수 있으며, 각 모델은 서로 다른 속도와 정확도의 균형을 제공한다. 예를 들어, EfficientDet-D0는 COCO 데이터셋에서 34.6 mAP를 달성하면서 단 25억 FLOPs만을 필요로 하고, EfficientDet-D7은 770억 FLOPs로 55.1 mAP를 달성한다.
성능 및 비교
EfficientDet은 출시 당시 객체 탐지 분야의 효율성 벤치마크를 새로 작성했다. COCO 데이터셋에서 기존 최첨단 탐지기들인 YOLOv3 및 Faster R-CNN보다 더 적은 FLOPs와 파라미터로 더 높은 정확도를 달성했다. 예를 들어, EfficientDet-D2는 110억 FLOPs로 43.0 mAP를 기록하여, 650억 FLOPs를 사용한 YOLOv3의 33.0 mAP를 크게 능가했다.
이러한 효율성 향상은 엣지 디바이스에서 특히 두드러졌다. EfficientDet-D0 및 D1과 같은 소형 변형 모델들은 모바일 CPU와 GPU에서 실시간 추론이 가능하도록 설계되어, 자율 주행, 감시, 증강 현실과 같은 응용 분야에 매력적인 선택지가 되었다. 또한 이 모델들은 다른 탐지 데이터셋에 대한 전이 학습에서도 강력한 성능을 보여주었으며, 최소한의 미세 조정만으로도 우수한 결과를 달성했다.
응용 및 영향
EfficientDet의 도입은 효율적인 객체 탐지 연구에 지대한 영향을 미쳤다. 가중치 기반 양방향 특징 융합과 복합 스케일링이라는 설계 원칙은 이후 많은 후속 모델들에 채택되고 확장되었다. 산업계에서는 제조업의 결함 감지, 의료 영상 분석, 소매 분석 등 다양한 작업에 EfficientDet을 널리 활용하고 있다.
이 모델의 효율성은 ARM 기반 기기와 같은 저전력 하드웨어에서의 배포를 용이하게 했으며, Apache 2.0 라이선스로 공개된 오픈소스 구현 덕분에 학계 연구자와 산업 실무자 모두에게 쉽게 채택되었다. EfficientDet은 특히 효율성을 중시하는 최신 객체 탐지 아키텍처를 평가하는 기준선으로 여전히 관련성을 유지하고 있다.
한계 및 향후 방향
EfficientDet은 상당한 효율성 향상을 달성했지만, 몇 가지 한계도 존재한다. 복합 스케일링 방법은 고정된 아키텍처를 가정하므로 모든 작업이나 하드웨어에 최적이 아닐 수 있다. 또한 이 모델들은 주로 2D 객체 탐지를 위해 설계되었으며, 인스턴스 분할이나 3D 탐지와 같은 작업에는 직접 적용할 수 없다. 다만 백본 네트워크는 이러한 작업을 위한 다른 모델의 특징 추출기로 활용될 수 있다.
이후 연구에서는 신경 아키텍처 탐색(NAS)과 자동화된 머신러닝(AutoML) 기법을 사용하여 탐지 모델을 더욱 최적화하는 방향으로 발전했다. 또한 트랜스포머 기반 탐지기인 DETR과 그 변형 모델들의 등장은 탐지 파이프라인을 단순화하고 end-to-end 학습을 가능하게 하는 새로운 패러다임을 제시했다. 그럼에도 불구하고, EfficientDet이 확립한 효율적인 설계 원칙은 딥러닝 기반 객체 탐지 연구에 지속적인 영향을 미치고 있다.