U-Net ist eine Architektur für faltende neuronale Netze, die für die Bildsegmentierung entwickelt wurde und 2015 von Olaf Ronneberger, Philipp Fischer und Thomas Brox eingeführt wurde. Die Architektur zeichnet sich durch eine symmetrische Encoder-Decoder-Struktur mit Skip-Verbindungen aus, die eine präzise Lokalisierung ermöglicht und gleichzeitig kontextuelle Informationen bewahrt. U-Net wurde ursprünglich für die biomedizinische Bildsegmentierung entwickelt, wurde aber seitdem in verschiedenen Bereichen, einschließlich Computer Vision und generativer Modellierung, weit verbreitet eingesetzt. Sein Design hat zahlreiche nachfolgende Architekturen beeinflusst und bleibt ein Maßstab bei Segmentierungsaufgaben.
Architektur
Die U-Net-Architektur besteht aus zwei Hauptpfaden: einem kontrahierenden Pfad (Encoder) und einem expandierenden Pfad (Decoder), die zusammen eine U-förmige Struktur bilden. Der kontrahierende Pfad folgt dem typischen Aufbau eines faltenden Netzwerks, mit wiederholten Anwendungen von zwei 3x3-Faltungen, jeweils gefolgt von einer gleichgerichteten linearen Einheit (ReLU) und einer 2x2-Max-Pooling-Operation mit Schrittweite 2 für das Downsampling. Bei jedem Downsampling-Schritt wird die Anzahl der Feature-Kanäle verdoppelt, wodurch das Netzwerk zunehmend abstrakte Merkmale erfassen kann, während die räumliche Auflösung reduziert wird.
Der expandierende Pfad führt im Gegensatz dazu ein Upsampling der Feature-Map durch, gefolgt von einer 2x2-Faltung, die die Anzahl der Feature-Kanäle halbiert. Dies wird dann mit der entsprechend zugeschnittenen Feature-Map aus dem kontrahierenden Pfad verkettet, wodurch Skip-Verbindungen entstehen. Die Verkettung kombiniert hochauflösende Merkmale aus dem Encoder mit den hochgesampelten Decoder-Merkmalen, was eine präzise Lokalisierung ermöglicht. Anschließend werden zwei 3x3-Faltungen, jeweils gefolgt von einer ReLU, angewendet. In der letzten Schicht bildet eine 1x1-Faltung den Feature-Vektor auf die gewünschte Anzahl von Klassen ab.
Eine wichtige Modifikation in U-Net ist die große Anzahl von Feature-Kanälen im Upsampling-Teil, die es dem Netzwerk ermöglicht, Kontextinformationen auf Schichten mit höherer Auflösung zu übertragen. Der expandierende Pfad ist mehr oder weniger symmetrisch zum kontrahierenden Pfad, was zu der charakteristischen U-förmigen Architektur führt. Das Netzwerk verwendet nur den gültigen Teil jeder Faltung, was bedeutet, dass kein Padding angewendet wird, was zu einer leichten Reduzierung der räumlichen Dimensionen bei jedem Schritt führt. Um Randbereiche zu behandeln, wird der fehlende Kontext durch Spiegeln des Eingabebildes an den Grenzen extrapoliert. Das ursprüngliche Papier schlug auch eine Kachelungsstrategie für große Bilder vor, bei der überlappende Kacheln unabhängig verarbeitet und dann zusammengesetzt werden, was die Verarbeitung hochauflösender Bilder ermöglicht, die sonst den GPU-Speicher überschreiten würden.
Training und Datenerweiterung
U-Net wird mit stochastischem Gradientenabstieg trainiert, mit einer Verlustfunktion, die Kreuzentropie mit einem Gewichtungsschema kombiniert, um Randpixel zu betonen. Die Gewichtskarte wird vorberechnet, um sich berührende Objekte derselben Klasse zu trennen, was besonders bei der biomedizinischen Segmentierung nützlich ist, wo Zellen oft überlappen. Datenerweiterung wird eingesetzt, um die effektive Trainingsdatensatzgröße zu erhöhen, einschließlich elastischer Verformungen und Rotationen, die besonders für biomedizinische Bilder relevant sind, wo solche Variationen häufig vorkommen. Dieser Ansatz ermöglicht es U-Net, auch mit relativ wenigen Trainingsproben eine hohe Genauigkeit zu erreichen, wie im ursprünglichen Papier mit der Segmentierung neuronaler Strukturen in Elektronenmikroskopiebildern demonstriert wurde.
Anwendungen
U-Net wurde umfassend in der biomedizinischen Bildsegmentierung eingesetzt, einschließlich der Segmentierung von Organen und Körpersystemen in Computertomographie- (CT) und Magnetresonanztomographie- (MRT) Scans. Spezifische Beispiele umfassen die Segmentierung von Gehirnbildern in der BRATS-Herausforderung und die Lebersegmentierung. Über die biomedizinische Bildgebung hinaus wurde U-Net für Aufgaben wie pixelweise Regression beim Pansharpening verwendet, wo es die räumliche Auflösung multispektraler Satellitenbilder verbessert. Es wurde auch bei der Analyse von Mikrographien von Materialien in den physikalischen Wissenschaften eingesetzt. Variationen von U-Net wurden für die medizinische Bildrekonstruktion entwickelt, und die Architektur wurde für 3D-Daten angepasst, wie das 3D-U-Net für volumetrische Segmentierung aus spärlichen Annotationen. Eine weitere bemerkenswerte Variante ist TernausNet, das einen auf ImageNet vortrainierten VGG11-Encoder verwendet, um die Leistung bei Segmentierungsaufgaben zu verbessern.
Einfluss auf generative Modelle
Die U-Net-Architektur hat auch bedeutende Verwendung in generativen Modellen gefunden, insbesondere in Diffusionsmodellen. In diesen Modellen dient U-Net als Rückgrat für die iterative Bildentrauschung, wo es lernt, das Rauschen vorherzusagen, das bei jedem Schritt des Diffusionsprozesses zu einem Bild hinzugefügt wird. Diese Technologie liegt vielen modernen Bildgenerierungssystemen zugrunde, einschließlich DALL-E, Midjourney und Stable Diffusion. Die Fähigkeit von U-Net, feine Details zu bewahren und gleichzeitig globalen Kontext zu erfassen, macht es gut für diese Aufgabe geeignet. In diesem Kontext wird das U-Net oft modifiziert, um Zeit-Einbettungen und Aufmerksamkeitsmechanismen zu integrieren, um die variierenden Rauschpegel zu handhaben und langreichweitige Abhängigkeiten zu modellieren.
Neuere Entwicklungen und Erweiterungen
U-Net hat zahlreiche architektonische Erweiterungen und Verbesserungen inspiriert. Attention U-Net führt Aufmerksamkeitsgatter ein, um sich auf relevante Merkmale zu konzentrieren, während U-Net++ (Nested U-Net) dichte Skip-Verbindungen hinzufügt, um den Gradientenfluss zu verbessern. Residual U-Net integriert Residualblöcke, um das Training tieferer Netzwerke zu erleichtern. Die Architektur wurde auch mit Transformatoren kombiniert, wie bei TransUNet, das einen Transformer-Encoder integriert, um globalen Kontext zu erfassen. Im Kontext von Diffusionsmodellen sind U-Net-Varianten mit Aufmerksamkeitsschichten Standard geworden. Darüber hinaus gibt es Interesse an rezeptiven Feld-basierten U-Net-Modellen für die medizinische Bildsegmentierung, die darauf abzielen, den Kompromiss zwischen lokalen und globalen Informationen zu optimieren. Die Architektur bleibt Gegenstand aktiver Forschung, mit laufenden Bemühungen, Effizienz, Genauigkeit und Anpassungsfähigkeit an neue Bereiche zu verbessern.
Siehe auch
- Faltendes neuronales Netz
- Bildsegmentierung
- Diffusionsmodell
- Encoder-Decoder
- Skip-Verbindung
- Biomedizinische Bildgebung
- Generatives adversariales Netzwerk
- Deep Learning
Referenzen
- Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. In Medical Image Computing and Computer-Assisted Intervention (MICCAI).
- Shelhamer, E., Long, J., & Darrell, T. (2014). Fully Convolutional Networks for Semantic Segmentation. In CVPR.
- Çiçek, Ö., Abdulkadir, A., Lienkamp, S. S., Brox, T., & Ronneberger, O. (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. In MICCAI.
- Iglovikov, V., & Shvets, A. (2018). TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation. arXiv preprint.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. In NeurIPS.