EfficientNet은 2019년에 Google AI의 연구자들이 처음 발표한 컴퓨터 비전 작업을 위한 합성곱 신경망(CNN) 계열이다. 그 정의적 특징은 신경망의 모든 차원(깊이, 너비, 해상도)을 단일 계수로 균일하게 조정하는 기법인 복합 스케일링(compound scaling)이다. 이 접근 방식은 레이어를 추가하거나 입력 크기를 늘리는 등 한 차원만 스케일링하는 일반적인 관행과 대조된다. EfficientNet 모델은 이미지 분류, 객체 탐지, 의미론적 분할을 포함한 여러 영역에서 널리 채택되었으며, 이전 아키텍처에 비해 낮은 계산 비용으로 높은 정확도를 달성하는 것으로 알려져 있다.
원래 EfficientNet 논문은 복합 스케일링이 ImageNet 벤치마크에서 개별적으로 조정된 차원을 가진 모델보다 우수한 성능을 낼 수 있음을 보여주었다. 여러 축에 걸친 성장을 신중히 균형 잡음으로써, 이 계열은 부동 소수점 연산(FLOPs)을 관리 가능한 수준으로 유지하면서 최첨단 결과를 달성한다. 모델은 신경 아키텍처 탐색을 통해 발견된 기준 아키텍처에 의존하며, 스케일링 방법은 이 기반 위에 구축되어 소형에서 고정확도에 이르는 다양한 모델 스펙트럼을 생성한다.
아키텍처 및 복합 스케일링
EfficientNet의 핵심 혁신은 복합 스케일링 방법이다. 깊이(레이어 수), 너비(채널 수), 또는 해상도(입력 이미지 크기)를 개별적으로 임의로 증가시키는 대신, 이 방법은 세 가지를 동시에 스케일링한다. 기준 네트워크가 주어지면, 깊이 승수 d, 너비 승수 w, 해상도 승수 r은 d = α^φ, w = β^φ, r = γ^φ로 정의되며, 여기서 φ는 전체 스케일을 제어하는 복합 계수이다. 이러한 승수는 α · β² · γ² ≈ 2라는 조건에 의해 제약되며, 이는 φ를 φ₀만큼 증가시키면 네트워크의 총 계산 비용이 약 2^φ₀배 증가함을 보장한다. 하이퍼파라미터 α, β, γ는 일반적으로 작은 그리드 탐색을 통해 설정되며, 원래 논문은 각각 1.2, 1.1, 1.15의 값을 제안했다.
구조적으로, 기준 EfficientNet-B0은 신경 아키텍처 탐색(NAS)을 통해 발견되었으며, 이는 MobileNet에서 이전에 대중화된 역병목 합성곱(역병목 합성곱, MBConv)이라는 빌딩 블록이 매우 효과적임을 식별했다. 전체 EfficientNet 계열은 쌓인 MBConv 레이어로 구성되며, 정확한 수와 필터 크기는 복합 스케일링 방정식에 의해 결정된다. 원래 발표는 EfficientNet-B0부터 EfficientNet-B7까지 여덟 개의 모델을 도입했으며, 각각 깊이, 너비, 해상도가 증가하여 이미지 분류와 같은 작업에서 상응하는 정확도 향상을 가져왔다.
변형 및 적응
원래 B0-B7 모델 외에도, EfficientNet은 추가 신경 아키텍처 탐색을 통해 특수 하드웨어에 적응되었다. 변형은 낮은 지연 시간과 에너지 효율을 우선시하는 엣지 TPU, 그리고 처리량이 중요한 중앙 집중식 TPU 또는 GPU 클러스터에 맞게 조정되었다. 이러한 적응은 종종 약간의 정확도 감소를 상당한 추론 속도 향상과 맞바꾸며, 임베디드 시스템 및 클라우드 서비스의 실시간 응용에 적합하게 만든다.
EfficientNet V2는 2021년 6월에 발표되었으며, 여러 구조적 개선을 도입했다. 업데이트된 설계는 융합 MBConv 블록을 포함하여 확장된 NAS 탐색을 통해 발견된 더 넓은 범위의 합성곱 레이어 유형을 통합했다. 주목할 만한 발전은 훈련 중 입력 이미지 크기를 점진적으로 증가시키는 새로운 훈련 절차였으며, 드롭아웃, RandAugment, Mixup과 같은 정규화 기법과 결합되었다. 저자들은 이 접근 방식이 점진적 크기 조정을 사용할 때 흔히 발생하는 정확도 저하를 완화하여 더 빠른 훈련과 향상된 최종 성능을 이끈다고 보고했다. EfficientNet V2는 또한 서로 다른 리소스 제약을 대상으로 하는 S, M, L과 같은 변형을 도입했다.
영향 및 응용
EfficientNet은 딥러닝 분야 전반에 걸쳐 모델 스케일링 및 아키텍처 설계에 대한 후속 연구에 영향을 미쳤다. 그 복합 스케일링 원리는 트랜스포머를 포함한 다른 아키텍처에 적용되었으며, 다차원 스케일링 전략에 영감을 주었다. 실제로 EfficientNet 모델은 강력한 특징 추출 능력과 효율성 덕분에 You Only Look Once(YOLO)와 같은 객체 탐지 시스템과 U-Net과 같은 분할 모델의 백본 네트워크로 일반적으로 사용된다. 또한 ImageNet과 같은 대규모 데이터셋에서 사전 훈련된 가중치를 도메인 특정 작업에 미세 조정하는 전이 학습 파이프라인에서도 자주 활용된다.
이 모델 계열의 계산 효율성 강조는 Apple 및 Qualcomm과 같은 기업의 신경망 추론 최적화 작업을 보완하며, 모바일 기기 및 엣지 하드웨어 배포에 인기 있는 선택이 되게 했다. 일반적으로 허용적인 라이선스 하에 제공되는 오픈 소스 가용성은 학계와 산업계 모두에서 광범위한 채택을 촉진하여 현대 CNN 설계의 벤치마크로서의 지위를 공고히 했다.
한계 및 향후 방향
강점에도 불구하고, EfficientNet에는 한계가 있다. 복합 스케일링 방법은 대략적인 FLOPs 근사에 의존하며 특정 하드웨어나 제약 조건에 대해 항상 최적의 균형을 산출하지는 않을 수 있다. 또한 원래 MBConv 레이어는 효율적이지만, 트랜스포머 모델에서 발견되는 최신 주의 기반 메커니즘보다 덜 효과적일 수 있다. 이후 연구는 합성곱 블록과 주의를 통합한 하이브리드 아키텍처를 탐구하여, CNN의 효율성과 멀티 헤드 주의의 맥락적 이해를 결합하는 것을 목표로 했다. 최근 몇 년 동안 EfficientNet은 경쟁력 있는 기준 모델로 남아 있지만, 더 새로운 모델은 정확도와 효율성의 경계를 더욱 넓히기 위해 신경 아키텍처 탐색 및 자동 스케일링의 아이디어를 점점 더 통합하고 있다.