DeepLabは、ニューラルネットワークアーキテクチャのファミリーであり、画像内の各ピクセルにクラスラベルを割り当てるコンピュータビジョンタスクであるセマンティックセグメンテーションに使用される。Googleの研究者ら（当初はGoogle Research、後にGoogle DeepMindの一部）によって開発されたDeepLabモデルは、アトラス（拡張）畳み込みの使用で特徴づけられる。これは、パラメータ数を増やしたり空間解像度を失うことなく、フィルタの受容野を拡大する技術である。このファミリーは複数のバージョンを経て進化し、各バージョンでアーキテクチャとトレーニング手法の改良が導入され、PASCAL VOCやCityscapesなどのベンチマークデータセットで一貫して最先端の結果を達成してきた。
DeepLabの核心的な革新は、セマンティックセグメンテーションへのアトラス畳み込み（拡張畳み込みとも呼ばれる）の適用である。標準的な畳み込みでは、フィルタが入力の連続領域に適用される。アトラス畳み込みは、フィルタの重みの間にゼロ（穴）を挿入し、実質的にそれらを間隔を空けて配置する。拡張率が間隔を制御し、率1は標準的な畳み込みであり、より高い率は視野を拡大する。これにより、ネットワークは特徴マップをダウンサンプリングすることなく、より大きなコンテキストから情報を捕捉でき、セグメンテーション境界の細かい詳細を保存するために重要である。DeepLabはまた、異なる拡張率を持つ複数のアトラス畳み込みを並列に適用し、その出力を融合するモジュールであるアトラス空間ピラミッドプーリング（ASPP）も採用している。このマルチスケールアプローチは、モデルが様々なサイズのオブジェクトを認識するのに役立つ。
初期バージョン: DeepLabv1とDeepLabv2
最初のバージョンであるDeepLabv1は2015年に導入され、アトラス畳み込みと後処理のための完全連結条件付きランダムフィールド（CRF）を組み合わせた。CRFは、空間的一貫性を強制することで粗いネットワーク出力を洗練し、オブジェクト境界をシャープにした。DeepLabv2は2016年に発表され、ASPPモジュールを追加し、VGG-16バックボーンをResNetに置き換え、精度と効率を向上させた。v2モデルはPASCAL VOC 2012ベンチマークでトップの結果を達成し、この分野に新しい標準を設定した。
DeepLabv3とDeepLabv3+
2017年に発表されたDeepLabv3は、バッチ正規化を備えたASPPモジュールがマルチスケールコンテキストを捕捉するのに十分であることが証明されたため、CRF後処理を削除してアーキテクチャを簡素化した。また、その後のDeepLabv3+バージョンでは、より効果的なエンコーダ・デコーダ構造を導入し、特に小さなオブジェクトのセグメンテーション境界を洗練するためのデコーダモジュールを追加した。DeepLabv3+は機械学習コミュニティで広く採用されたベースラインとなり、インスタンスセグメンテーションやパノプティックセグメンテーションなどの他のタスクのバックボーンとしてよく使用された。Cityscapesや他の自動運転データセットでのモデルの性能は、実世界のアプリケーションに人気のある選択肢となった。
技術詳細とトレーニング
DeepLabモデルは通常、最終的な完全連結層が除去された事前トレーニング済みのバックボーンネットワーク（ResNetやXceptionなど）を使用する。入力画像サイズと出力特徴マップサイズの比率を決定する出力ストライドは、重要なハイパーパラメータである。DeepLabv3+は、速度と精度のバランスを取るために、トレーニング中は出力ストライド16、推論中は8を使用することが多い。トレーニングには、データ拡張、バッチ正規化、確率的勾配降下法またはその変種による最適化などの標準的な技術が含まれる。損失関数は通常、ピクセルごとのクロスエントロピー損失であり、中間層の補助損失と組み合わせられることもある。
アプリケーションと影響
DeepLabは、自動運転（Waymoや他の企業がシーン理解に類似のセグメンテーションモデルを使用）、医用画像解析（例: スキャン内の臓器や腫瘍のセグメンテーション）、衛星画像解析、拡張現実など、多くの分野で応用されている。その影響はセマンティックセグメンテーションを超えて広がり、アトラス畳み込み技術はU-Netの変種やオブジェクト検出モデルなどの他のアーキテクチャにも採用されている。DeepLabファミリーはまた、画像編集や正確なオブジェクト境界を必要とする生成AIアプリケーションを含む、より大きなシステムの一般的なコンポーネントでもある。
DeepLabの開発は、深層学習の広範なトレンドを反映している: 手作りの特徴からエンドツーエンドで学習された表現への移行、マルチスケール処理の重要性、精度と計算効率のバランスを取るアーキテクチャへの推進。トランスフォーマーや視覚用に適応された大規模言語モデルに基づく新しいモデルが一部のベンチマークでDeepLabを上回っているが、DeepLabファミリーはセマンティックセグメンテーションの分野で基礎的な参照点であり続けている。