全畳み込みネットワーク（FCN）は、深層学習アーキテクチャの一種であり、画像内の各ピクセルにクラスラベルを割り当てるタスクであるセマンティックセグメンテーションのために設計されている。画像全体に対して単一のラベルを出力する従来の分類ネットワークとは異なり、FCNは入力と同じ空間次元を持つ密な出力マップを生成し、ピクセルレベルの理解を可能にする。2015年にカリフォルニア大学バークレー校のジョナサン・ロング、エヴァン・シェルハマー、トレバー・ダレルによって導入されたFCNは、現代のコンピュータビジョンへの基礎的な貢献であり、U-Netなどの後のアーキテクチャに影響を与えた。
FCNの主要な革新は、AlexNetやVGGなどの分類ネットワークで一般的に使用される全結合層を、畳み込み層に置き換えることである。これにより、ネットワークは任意のサイズの入力を受け入れ、固定長ベクトルではなく空間マップを出力できるようになる。アーキテクチャは通常、特徴を抽出するダウンサンプリング経路（エンコーダ）と、空間解像度を復元するアップサンプリング経路（デコーダ）で構成される。アップサンプリングは、転置畳み込み（逆畳み込みとも呼ばれる）またはバイリニア補間を使用して行われることが多く、境界を精緻化するためにスキップ接続を追加できる。
アーキテクチャと設計
FCNは、VGG-16やResNetなどの基本分類ネットワーク上に構築され、その全結合層は1x1畳み込みに変換される。その後、ネットワークは一連の転置畳み込み層を使用して、特徴マップを入力解像度にアップサンプリングする。元のFCN論文では、FCN-32s、FCN-16s、FCN-8sの3つの変種が紹介されており、これらは粗い高レベル特徴と細かい低レベル特徴を組み合わせるために使用されるスキップ接続の数が異なる。FCN-8sは、より初期の層からの予測を追加し、3つの中で最良のセグメンテーション精度を達成した。
FCNのトレーニングには、通常はクロスエントロピーであるピクセル単位の損失関数が必要であり、確率的勾配降下法とモメンタムなどの標準的な最適化手法が使用される。著者らはまた、収束と汎化を改善するために、バッチ正規化やドロップアウトなどの手法を採用した。
応用と影響
FCNは、セマンティックセグメンテーションを超えて、医用画像解析、自動運転、リモートセンシングなど、幅広いタスクに適用されてきた。医用画像では、FCNはCTやMRIスキャンで臓器や腫瘍をセグメンテーションするために使用され、多くの場合、U-Netのようなより高度なモデルの基礎として機能する。自動運転では、FCNはカメラ映像から道路境界、歩行者、車両を識別するのに役立ち、Waymoやテスラ・オートパイロットなどの企業が開発するシステムに貢献している。
FCNの影響は、人工知能のより広い分野に及んでいる。なぜなら、畳み込みネットワークが、別個の後処理ステップを必要とせずに、密な予測タスクのためにエンドツーエンドでトレーニングできることを実証したからである。このパラダイムシフトは、エンコーダ・デコーダモデルやアテンションベースのアプローチを含む、その後のアーキテクチャに影響を与えた。
限界と進化
その成功にもかかわらず、FCNには限界がある。ダウンサンプリング中の空間詳細の喪失により、粗いセグメンテーションマップを生成する可能性があり、小さな物体や細い構造に苦労することがある。転置畳み込みの使用は、チェッカーボードアーティファクトを導入することもある。これらの問題は、広範なスキップ接続を持つU-Netや、後にマルチヘッドアテンションメカニズムを組み込んだモデルなど、より洗練されたアーキテクチャの開発を動機付けた。
現代のセマンティックセグメンテーションモデルは、多くの場合、FCNスタイルのエンコーダとトランスフォーマーデコーダを組み合わせており、SegFormerのようなモデルに見られるように、位置エンコーディングとクロスアテンションを活用して長距離依存関係を捉えている。それでも、FCNはコンピュータビジョンのコースで教えられる基本的な概念であり、新しい方法を評価するためのベースラインとして残っている。
トレーニングと最適化
FCNのトレーニングでは、密な出力がメモリ集約的であるため、メモリと計算の慎重な処理が必要である。データ拡張（例：ランダムクロッピング、フリッピング）や学習率スケジューリングなどの手法が一般的に使用される。元の実装はCaffeフレームワークを使用し、PASCAL VOCデータセットでトレーニングされ、当時の最先端の結果を達成した。その後の研究では、FCNをCOCOやCityscapesなどの他のフレームワークやデータセットに適応させている。
実際には、FCNは事前トレーニングされた分類ネットワークから微調整されることが多く、収束を加速し、精度を向上させる。この転移学習アプローチは、機械学習で標準的であり、ニューラルネットワーク研究で広く採用されている。
遺産
FCNの導入はコンピュータビジョンの転換点を示し、深層ネットワークが密な予測タスクを直接解決できることを実証した。その原理は、医療診断から自動運転車両まで、無数の現代システムに組み込まれている。2020年代半ばの時点で、FCNは学術文献で依然として参照されており、より高度なモデルの構成要素として機能しており、深層学習分野におけるその永続的な関連性を強調している。