EfficientNetは、コンピュータビジョンタスク向けに開発された畳み込みニューラルネットワーク（CNN）のファミリーであり、2019年にGoogle AIの研究者らによって初めて発表されました。その特徴的な点は、複合スケーリング（compound scaling）という手法であり、ニューラルネットワークのすべての次元（深さ、幅、解像度）を単一の係数を用いて均一に調整します。このアプローチは、層を追加したり入力サイズを増やしたりするなど、1つの次元のみをスケーリングする従来の手法とは対照的です。EfficientNetモデルは、画像分類、物体検出、セマンティックセグメンテーションなどの分野で広く採用されており、以前のアーキテクチャと比較して低い計算コストで高い精度を達成することで知られています。
元のEfficientNetの論文では、複合スケーリングがImageNetベンチマークにおいて、個別に調整された次元を持つモデルを上回る性能を発揮できることが示されました。複数の軸にわたる成長を慎重にバランスさせることで、このファミリーは浮動小数点演算（FLOPs）を管理可能に保ちながら、最先端の結果を達成します。これらのモデルは、ニューラルアーキテクチャ検索によって発見されたベースラインアーキテクチャに依存しており、スケーリング手法はこの基盤の上に構築され、コンパクトなモデルから高精度なモデルまでのスペクトラムを生み出します。
アーキテクチャと複合スケーリング
EfficientNetの核となる革新は、複合スケーリング手法です。深さ（層の数）、幅（チャネル数）、解像度（入力画像サイズ）を個別に任意に増やす代わりに、この手法は3つすべてを同時にスケーリングします。ベースラインネットワークが与えられたとき、深さ乗数d、幅乗数w、解像度乗数rは、d = α^φ、w = β^φ、r = γ^φとして定義され、ここでφは全体のスケールを制御する複合係数です。これらの乗数は、α · β² · γ² ≈ 2という条件によって制約され、これによりφをφ₀倍に増やすと、ネットワークの総計算コストが約2^φ₀倍に増加することが保証されます。ハイパーパラメータα、β、γは通常、小さなグリッド検索によって設定され、元の論文ではそれぞれ1.2、1.1、1.15の値を提案しました。
アーキテクチャ的には、ベースラインのEfficientNet-B0はニューラルアーキテクチャ検索（NAS）を用いて発見され、逆ボトルネック畳み込み（MBConvと呼ばれる）が非常に効果的であると特定されました。これは以前にMobileNetで普及したビルディングブロックです。EfficientNetファミリー全体は、積み重ねられたMBConv層で構成され、正確な数とフィルタサイズは複合スケーリング方程式によって決定されます。元の発表では、EfficientNet-B0からEfficientNet-B7までの8つのモデルが導入され、それぞれ深さ、幅、解像度が増加し、画像分類などのタスクで精度が相応に向上しました。
バリアントと適応
元のB0-B7モデルに加えて、EfficientNetはさらなるニューラルアーキテクチャ検索を通じて、特殊なハードウェア向けに適応されています。低遅延とエネルギー効率を優先するエッジTPU向けに調整されたバリエーションや、スループットが最重要視される集中型TPUまたはGPUクラスタ向けのバリエーションがあります。これらの適応は、わずかな精度低下と引き換えに推論速度の大幅な向上をもたらすことが多く、組み込みシステムやクラウドサービスにおけるリアルタイムアプリケーションに適しています。
EfficientNet V2は2021年6月に発表され、いくつかのアーキテクチャ上の改良が導入されました。更新された設計には、拡張されたNAS検索を通じて発見された、融合MBConvブロックを含むより広範な畳み込み層タイプが組み込まれました。注目すべき進歩は、トレーニング中に入力画像サイズを段階的に増加させる新しいトレーニング手順であり、ドロップアウト、RandAugment、Mixupなどの正則化手法と組み合わせられました。著者らは、このアプローチがプログレッシブリサイジングを使用する際に一般的に見られる精度低下を軽減し、トレーニングの高速化と最終性能の向上につながると報告しました。EfficientNet V2はまた、異なるリソース制約を対象としたS、M、Lなどのバリアントを導入しました。
影響と応用
EfficientNetは、深層学習分野全体におけるモデルスケーリングとアーキテクチャ設計のその後の研究に影響を与えました。その複合スケーリング原理は、トランスフォーマーを含む他のアーキテクチャにも適用され、多次元スケーリング戦略に影響を与えました。実際には、EfficientNetモデルは、You Only Look Once（YOLO）などの物体検出システムや、U-Netなどのセグメンテーションモデルのバックボーンネットワークとして一般的に使用されており、その強力な特徴抽出能力と効率性によるものです。また、ImageNetなどの大規模データセットで事前学習された重みがドメイン固有のタスクにファインチューニングされる転移学習パイプラインでも頻繁に使用されています。
このモデルファミリーの計算効率への重点は、AppleやQualcommなどの企業によるニューラルネットワーク推論の最適化の取り組みを補完し、モバイルデバイスやエッジハードウェアへの展開で人気のある選択肢となっています。そのオープンソースでの利用可能性（通常は寛容なライセンスの下で提供）は、学界と産業界の両方での広範な採用を促進し、現代のCNN設計のベンチマークとしての地位を確固たるものにしました。
制限と今後の方向性
その強みにもかかわらず、EfficientNetには制限があります。複合スケーリング手法は大まかなFLOPs近似に依存しており、特定のハードウェアや制約に対して常に最適なトレードオフをもたらすとは限りません。さらに、元のMBConv層は効率的ですが、トランスフォーマーモデルに見られる新しい注意機構ベースのメカニズムよりも効果が低い場合があります。その後の研究では、畳み込みブロックと注意を統合したハイブリッドアーキテクチャが探求され、CNNの効率性とマルチヘッド注意の文脈理解を組み合わせることを目指しています。近年、EfficientNetは依然として競争力のあるベースラインですが、新しいモデルは、精度と効率の限界を押し広げるために、ニューラルアーキテクチャ検索と自動スケーリングからのアイデアをますます取り入れています。