Inception（GoogLeNetとも呼ばれる）は、Googleの研究者らによって開発された畳み込みニューラルネットワークのアーキテクチャであり、2014年のImageNet Large Scale Visual Recognition Challenge（ILSVRC）で優勝した。このネットワークは、高い分類精度を達成しつつ計算効率を維持するように設計されており、単純にネットワークの深さと幅を増やすという傾向から大きく逸脱したものであった。その名前であるGoogLeNetは、LeNetアーキテクチャへの敬意を表したものであり、Inceptionモジュールがその中核的な構成要素となっている。
Inceptionモジュールは、畳み込み層に適切なカーネルサイズを選択するという課題に対処するために考案された。モジュールは単一のフィルターサイズを選択する代わりに、複数のフィルターサイズ（1x1、3x3、5x5）を並列に適用し、さらに最大プーリング操作を加え、それらの出力を連結する。これにより、ネットワークは異なるスケールの特徴を捉えることができる。より広い層の計算コストを制御するために、1x1畳み込みがボトルネック層として使用され、より大きな畳み込みの前に入力チャンネル数を削減する。
アーキテクチャと設計
完全なGoogLeNetアーキテクチャは22層（プーリング層を含めると27層）から構成され、AlexNetのような以前のアーキテクチャよりも顕著に深いものであった。ネットワークは一連のInceptionモジュールが順次積み重ねられ、空間次元を縮小するための最大プーリング層が所々に配置されている。最終層には、平均プーリング層、完全結合層、およびソフトマックス分類器が含まれる。重要な革新点は、トレーニング中に中間層に取り付けられた補助分類器の使用であった。これらの補助出力は0.3の重み係数を持ち、勾配消失問題に対処するのに役立ち、勾配がより効果的に初期層に流れることを可能にした。
ネットワークはまた、最終分類器の前にグローバル平均プーリング層を採用し、初期のCNNで一般的だった大きな完全結合層を置き換えた。これによりパラメータ数が大幅に削減され、モデルはメモリ効率が向上し、過学習しにくくなった。総パラメータ数は約680万であり、AlexNetの6000万パラメータよりも大幅に少なく、優れた精度を達成した。
パフォーマンスと影響
ILSVRC 2014において、GoogLeNetはトップ5エラー率6.67%を達成し、2位のエントリー（VGG、7.3%）を上回り、2013年の優勝者から大幅な改善を示した。この結果は、モデルが競合他社よりも深く、かつパラメータ効率的であるため、特に注目に値するものであった。Inceptionの成功は、単なる規模ではなく、慎重に設計されたアーキテクチャ要素がパフォーマンス向上を推進できるという考えを検証した。
Inceptionアーキテクチャは、その後の深層学習の研究に影響を与えた。これは、バッチ正規化と因数分解畳み込みを導入したInception-v2やInception-v3を含む一連の改良を触発した。マルチスケール特徴抽出とボトルネック層の原則は、後のアーキテクチャで広く採用された。このモデルはまた、転移学習の基盤としても機能し、事前トレーニングされたGoogLeNetの重みが多くのコンピュータビジョンアプリケーションで使用された。
技術的革新
Inceptionモジュールによる次元削減のための1x1畳み込みの使用は、主要な貢献であった。これらの畳み込みは、各ピクセルに独立して作用し、空間情報を保持しながらチャンネル数を削減でき、法外な計算コストなしでより深く広いネットワークを可能にする。この技術は、後にResNetなどの他のアーキテクチャで普及した。
補助分類器は、推論中には使用されなかったが、トレーニングには重要であった。これらは中間深度で追加の勾配信号を提供し、深いネットワークを悩ませる勾配消失問題を緩和した。このアプローチは後に残差接続に取って代わられたが、深いネットワークのトレーニング技術の進化における重要なステップを表した。
遺産と影響
Inceptionアーキテクチャは、効率的な設計が力任せのスケーリングに匹敵し、それを上回ることができることを実証した。その成功は、アーキテクチャ探索とモジュール設計の重要性を確立するのに役立ち、ニューラルネットワークの分野で重要な位置を占めた。GoogLeNetモデルは、新しい技術を評価するための標準的なベンチマークとなり、その事前トレーニング済みバージョンは機械学習コミュニティで広く使用された。
Inceptionで導入された、マルチブランチ畳み込みやボトルネック層などのアイデアは、生成AIや他の分野で使用されるものを含む多くの現代のアーキテクチャに組み込まれている。このモデルはまた、ネットワークの深さを増すより広範なトレンドに貢献し、ResNetのような非常に深いネットワークの開発へとつながった。今日、Inceptionは人工知能とコンピュータビジョンの歴史における基礎的な例であり、思慮深いアーキテクチャの選択がどのように大きな進歩をもたらすかを示している。