SegNetは、セマンティックセグメンテーション、すなわち画像内の各ピクセルにクラスラベルを割り当てるコンピュータビジョンタスクのために設計された深層ニューラルネットワークアーキテクチャです。これは2015年にケンブリッジ大学の研究者、Vijay Badrinarayanan、Alex Kendall、Roberto Cipollaによって発表されました。SegNetは、エンコーダ・デコーダ構造で知られており、高レベルのセマンティック特徴を捉えつつ、エンコーダからデコーダへ最大プーリングのインデックスを転送するメカニズムを通じて空間解像度を維持します。この設計により、以前のアプローチと比較してメモリと計算の両方で効率的であり、自動運転やシーン理解などのアプリケーションで広く使用されています。
このアーキテクチャは、畳み込み層とプーリング層を通じて入力画像を段階的にダウンサンプリングするエンコーダネットワークと、特徴マップを元の解像度にアップサンプリングする対応するデコーダネットワークで構成されています。主要な革新はプーリングインデックスの使用です。エンコーダでの最大プーリング中に、最大値の位置が記録され、デコーダに渡され、デコーダはそれらを使用してアップサンプリングされた値を正しい位置に配置します。これにより、学習可能なアップサンプリング層の必要性がなくなり、パラメータ数が削減され、特定の文脈ではU-Netなどの代替手法よりもSegNetが効率的になります。
アーキテクチャとトレーニング
SegNetのエンコーダは、ImageNetで事前学習されたVGG16ネットワークの畳み込み層に基づいていますが、パラメータ数を削減するために全結合層は除去されています。エンコーダは13個の畳み込み層で構成され、各層にはバッチ正規化とReLU活性化が続き、最大プーリングを挟んだ5つのステージに編成されています。デコーダはこの構造を13個の畳み込み層で反映していますが、対応するエンコーダステージからプーリングインデックスを受け取るアップサンプリング層を使用します。最終層はソフトマックス分類器で、各ピクセルに対してクラスごとの確率分布を生成します。
トレーニングは、クロスエントロピー損失関数を用いた確率的勾配降下法によってエンドツーエンドで実行されます。著者らは、事前学習されたエンコーダの重みを使用することで収束が加速し、精度が向上したと報告しています。また、ランダムクロッピングやフリッピングなどのデータ拡張技術を採用して、堅牢性を高めました。モデルは、11クラスを含む道路シーンを含むCamVidデータセットでトレーニングされ、後にSUN RGB-DやCityscapesなどの他のベンチマークで評価されました。
パフォーマンスと比較
元の論文では、SegNetはCamVidテストセットで平均交差オーバー・ユニオン（IoU）60.1%を達成し、FCN（完全畳み込みネットワーク）やDeconvNetなどの以前の手法を上回りました。特に、プーリングインデックスメカニズムがエッジ情報を保持するため、道路境界や小さな物体などの細かい詳細を捉えるのに効果的でした。ただし、推論中のメモリ使用量は後の一部のアーキテクチャよりも高く、その精度は後に、より洗練されたアテンションメカニズムや拡張畳み込みを備えたモデルによって上回られました。
ほぼ同時期に生物医学画像セグメンテーション用に開発されたU-Netと比較すると、SegNetは異なるアップサンプリング戦略を使用しています。U-Netはスキップ接続を介してエンコーダ特徴とデコーダ特徴を連結しますが、SegNetはプーリングインデックスのみを転送します。これにより、SegNetはトレーニング中のメモリ効率が向上しますが、細かい空間的詳細が重要なタスクでは精度が低下する可能性があります。両者の選択は、特定のアプリケーションと計算上の制約に依存することがよくあります。
アプリケーションと影響
SegNetは、道路、車両、歩行者、建物などのカテゴリに道路シーンをセグメント化するために使用される自動運転など、さまざまな分野で応用されています。また、ロボティクスでのシーン理解、リモートセンシングでの土地被覆分類、医療画像での臓器や腫瘍のセグメンテーションにも使用されています。その効率性により、組み込みデバイスでのリアルタイムアプリケーションに適しており、深層学習におけるその後のエンコーダ・デコーダアーキテクチャに影響を与えました。
論文「SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation」は2017年にIEEE Transactions on Pattern Analysis and Machine Intelligenceに掲載され、コードはオープンソースライセンスで公開されました。このアーキテクチャは数千回引用され、セマンティックセグメンテーション研究の参照点として今も残っています。
限界と進化
その強みにもかかわらず、SegNetには限界があります。プーリングインデックスメカニズムは効率的ですが、最大値の位置のみを記録し、完全な特徴マップを記録しないため、一部の空間情報が失われる可能性があります。これにより、場合によっては境界がぼやけることがあります。さらに、固定されたエンコーダ・デコーダ構造は、ピラミッドプーリングやアトラス畳み込みを使用するPSPNetやDeepLabなどの後のモデルほど効果的にマルチスケールコンテキストを組み込んでいません。
その後の研究では、低レベルと高レベルの特徴を組み合わせるためのスキップ接続の使用や、セグメンテーションマップを洗練するためのアテンションメカニズムの採用など、SegNetのアイデアに基づいて構築されています。U-Netの変種やトランスフォーマーなどの現代のアーキテクチャは、精度の点でSegNetをほぼ凌駕していますが、その原理は基礎的なものとして残っています。2020年代半ば現在、SegNetは学術比較のベースラインや、最先端の精度よりも計算効率が優先されるアプリケーションで依然として使用されています。
参考文献と遺産
SegNetの貢献は、プーリングインデックス転送を備えたエンコーダ・デコーダが、比較的小さなメモリフットプリントで競争力のあるセグメンテーション結果を達成できることを実証したことにあります。これはいくつかの機械学習フレームワークやツールキットに統合され、その設計は多数の変種に影響を与えました。元の実装はGitHubで利用可能であり、論文はコンピュータビジョン文献で広く引用されています。その遺産は、トランスフォーマーや生成AIアプローチに基づくものを含む現代のセグメンテーションモデルにおけるエンコーダ・デコーダ構造の継続的な使用に明らかです。