U-Netは、画像分割のために設計された畳み込みニューラルネットワークのアーキテクチャであり、2015年にOlaf Ronneberger、Philipp Fischer、Thomas Broxによって発表された。このアーキテクチャは、対称なエンコーダ・デコーダ構造とスキップ接続を特徴とし、文脈情報を保持しながら正確な位置特定を可能にする。U-Netは当初、生体医用画像分割のために開発されたが、その後、コンピュータビジョンや生成的モデリングを含むさまざまな分野で広く採用されている。その設計は、その後の多くのアーキテクチャに影響を与え、分割タスクにおけるベンチマークとして今もなお重要な位置を占めている。
アーキテクチャ
U-Netのアーキテクチャは、収縮経路（エンコーダ）と拡張経路（デコーダ）の2つの主要な経路から構成され、これらが組み合わさってU字型の構造を形成する。収縮経路は、畳み込みネットワークの典型的なレイアウトに従い、2つの3x3畳み込みを繰り返し適用し、各畳み込みの後に正規化線形ユニット（ReLU）と、ストライド2の2x2最大プーリング操作によるダウンサンプリングが続く。各ダウンサンプリングステップで特徴チャネル数は2倍になり、空間解像度を低下させながら、ネットワークがますます抽象的な特徴を捉えることを可能にする。
対照的に、拡張経路は特徴マップのアップサンプリングを実行し、その後に特徴チャネル数を半分にする2x2畳み込みが続く。これは、収縮経路からの対応するクロップされた特徴マップと連結され、スキップ接続を形成する。この連結により、エンコーダからの高解像度特徴とアップサンプリングされたデコーダ特徴が組み合わされ、正確な位置特定が可能になる。その後、各々にReLUが続く2つの3x3畳み込みが適用される。最終層では、1x1畳み込みが特徴ベクトルを目的のクラス数にマッピングする。
U-Netにおける重要な変更点は、アップサンプリング部分の特徴チャネル数が多いことであり、これによりネットワークは文脈情報をより高解像度の層に伝播させることができる。拡張経路は収縮経路とほぼ対称であり、その結果、特徴的なU字型アーキテクチャが形成される。ネットワークは各畳み込みの有効部分のみを使用する、つまりパディングを適用しないため、各ステップで空間次元がわずかに減少する。境界領域を処理するために、欠落した文脈は入力画像を境界でミラーリングすることによって外挿される。元の論文では、大きな画像に対するタイル戦略も提案されており、重複するタイルを独立に処理してから縫い合わせることで、GPUメモリを超える高解像度画像の処理を可能にしている。
トレーニングとデータ拡張
U-Netは、確率的勾配降下法を用いてトレーニングされ、損失関数は交差エントロピーと、境界ピクセルを強調する重み付けスキームを組み合わせたものである。重みマップは、同じクラスの接触するオブジェクトを分離するために事前計算され、これは細胞がしばしば重なる生体医用分割において特に有用である。データ拡張は、効果的なトレーニングセットサイズを増やすために採用され、弾性変形や回転を含み、これはそのような変動が一般的な生体医用画像に特に関連する。このアプローチにより、U-Netは比較的少ないトレーニングサンプルでも高い精度を達成でき、元の論文では電子顕微鏡画像における神経構造の分割で実証されている。
応用
U-Netは、コンピュータ断層撮影（CT）や磁気共鳴画像法（MRI）スキャンにおける臓器や身体系の分割を含む、生体医用画像分割に広く応用されている。具体的な例としては、BRATSチャレンジにおける脳画像分割や肝臓分割が挙げられる。生体医用画像を超えて、U-Netはパンシャープニングにおけるピクセル単位の回帰などのタスクにも使用されており、マルチスペクトル衛星画像の空間解像度を向上させる。また、物理科学における材料の顕微鏡写真の分析にも採用されている。U-Netの変種は医用画像再構成のために開発されており、アーキテクチャは3Dデータにも適応されている。例えば、スパースなアノテーションからのボリューム分割のための3D U-Netがある。もう1つの注目すべき変種はTernausNetであり、ImageNetで事前トレーニングされたVGG11エンコーダを使用して、分割タスクのパフォーマンスを向上させる。
生成的モデルへの影響
U-Netアーキテクチャは、生成的モデル、特に拡散モデルにおいても重要な用途を見出している。これらのモデルでは、U-Netは反復的な画像ノイズ除去のバックボーンとして機能し、拡散プロセスの各ステップで画像に追加されたノイズを予測することを学習する。この技術は、DALL-E、Midjourney、Stable Diffusionを含む多くの現代の画像生成システムの基盤となっている。U-Netが微細な詳細を保持しながらグローバルな文脈を捉える能力は、このタスクに適している。この文脈では、U-Netはしばしば、時間埋め込みやアテンションメカニズムを組み込むように変更され、変動するノイズレベルを処理し、長距離依存関係をモデル化する。
最近の開発と拡張
U-Netは、数多くのアーキテクチャの拡張と改良に影響を与えてきた。Attention U-Netは、関連する特徴に焦点を当てるためのアテンションゲートを導入し、U-Net++（Nested U-Net）は、勾配フローを改善するための密なスキップ接続を追加する。Residual U-Netは、より深いネットワークのトレーニングを容易にするための残差ブロックを組み込む。アーキテクチャはトランスフォーマーとも組み合わされており、例えばTransUNetは、グローバルな文脈を捉えるためのトランスフォーマーエンコーダを統合している。拡散モデルの文脈では、アテンション層を備えたU-Net変種が標準となっている。さらに、医用画像分割のための受容野ベースのU-Netモデルへの関心もあり、局所情報とグローバル情報のトレードオフを最適化することを目指している。このアーキテクチャは、効率性、精度、新しいドメインへの適応性を改善するための継続的な取り組みとともに、活発な研究の対象であり続けている。
関連項目
参考文献
- Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. In Medical Image Computing and Computer-Assisted Intervention (MICCAI).
- Shelhamer, E., Long, J., & Darrell, T. (2014). Fully Convolutional Networks for Semantic Segmentation. In CVPR.
- Çiçek, Ö., Abdulkadir, A., Lienkamp, S. S., Brox, T., & Ronneberger, O. (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. In MICCAI.
- Iglovikov, V., & Shvets, A. (2018). TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation. arXiv preprint.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. In NeurIPS.