U-Net ist eine Convolutional-Neural-Network-Architektur, die für die Bildsegmentierung entwickelt wurde, insbesondere im biomedizinischen Kontext. Sie wurde 2015 von Olaf Ronneberger, Philipp Fischer und Thomas Brox an der Universität Freiburg eingeführt und baut auf früheren vollständig konvolutionalen Netzwerken auf. Die Architektur zeichnet sich durch ihr symmetrisches Encoder-Decoder-Design mit Skip-Verbindungen aus, das es ihr ermöglicht, präzise Segmentierungskarten aus relativ wenigen Trainingsbildern zu erzeugen. Die Segmentierung eines 512 × 512-Bildes dauert mit der U-Net-Architektur auf einer modernen GPU (Stand 2015) weniger als eine Sekunde.
Die U-Net-Architektur geht auf das sogenannte „Fully Convolutional Network“ (FCN) zurück, das 2014 von Evan Shelhamer, Jonathan Long und Trevor Darrell entwickelt wurde. Die Hauptidee besteht darin, ein übliches kontrahierendes Netzwerk durch aufeinanderfolgende Schichten zu ergänzen, wobei Pooling-Operationen durch Upsampling-Operatoren ersetzt werden. Dadurch erhöhen diese Schichten die Auflösung der Ausgabe. Eine nachfolgende konvolutionale Schicht kann dann lernen, basierend auf diesen Informationen eine präzise Ausgabe zusammenzusetzen.
Netzwerkarchitektur
Das Netzwerk besteht aus einem kontrahierenden Pfad und einem expandierenden Pfad, was ihm die u-förmige Architektur verleiht. Der kontrahierende Pfad ist ein typisches konvolutionales Netzwerk, das aus wiederholten Faltungen besteht, jeweils gefolgt von einer Rectified Linear Unit (ReLU) und einer Max-Pooling-Operation. Während der Kontraktion werden die räumlichen Informationen reduziert, während die Merkmalsinformationen zunehmen. Der expandierende Pfad kombiniert die Merkmals- und räumlichen Informationen durch eine Sequenz von Aufwärtsfaltungen und Konkatenationen mit hochauflösenden Merkmalen aus dem kontrahierenden Pfad.
Eine wichtige Modifikation in U-Net besteht darin, dass es im Upsampling-Teil eine große Anzahl von Merkmalskanälen gibt, die es dem Netzwerk ermöglichen, Kontextinformationen an Schichten mit höherer Auflösung weiterzugeben. Infolgedessen ist der expandierende Pfad mehr oder weniger symmetrisch zum kontrahierenden Teil und ergibt eine u-förmige Architektur. Das Netzwerk verwendet nur den gültigen Teil jeder Faltung ohne vollständig verbundene Schichten. Daher kann das Netzwerk mit einer Mischung aus Eingabeauflösungen trainiert und ausgeführt werden.
Um die Pixel im Randbereich des Bildes vorherzusagen, wird der fehlende Kontext jenseits der Bildgrenze durch Spiegeln des Eingabebildes an den Bildgrenzen extrapoliert. Das ursprüngliche U-Net-Papier schlug außerdem eine Kachelungsstrategie vor, bei der große Bilder in überlappende Kacheln geschnitten werden, die unabhängig verarbeitet werden. Dies ermöglicht die Verarbeitung hochauflösender Bilder, die andernfalls den verfügbaren GPU-Speicher überschreiten würden. In letzter Zeit gab es auch ein Interesse an rezeptiven Feld-basierten U-Net-Modellen für die medizinische Bildsegmentierung.
Training und Verlustfunktion
U-Net wird end-to-end mit stochastischem Gradientenabstieg (SGD) und einer pixelweisen Verlustfunktion trainiert, typischerweise Kreuzentropie oder einer gewichteten Variante. Die Energie-Funktion wird durch ein pixelweises Soft-Max über die endgültige Merkmalskarte in Kombination mit dem Kreuzentropie-Verlust berechnet. Die Autoren führten eine Gewichtskarte ein, die Pixeln in der Nähe von Grenzen zwischen sich berührenden Objekten eine höhere Bedeutung verleiht, was dem Netzwerk hilft, einzelne Instanzen in biomedizinischen Bildern zu trennen. Diese Gewichtskarte wird für jedes Trainingsbild vorberechnet und verwendet, um Fehler in Randbereichen stärker zu bestrafen.
Das Netzwerk verwendet Daten-Augmentierung, um die effektive Trainingsdatensatzgröße zu erhöhen, einschließlich elastischer Verformungen, Rotationen und Intensitätsvariationen. Dies ist besonders wichtig in der biomedizinischen Bildgebung, wo annotierte Daten knapp sind. Die ursprüngliche Implementierung verwendete einen hohen Impuls (0,99) und eine niedrige Lernrate (0,00001), um eine stabile Konvergenz zu gewährleisten.
Anwendungen in der biomedizinischen Bildgebung
Es gibt viele Anwendungen von U-Net in der biomedizinischen Bildsegmentierung, wie die Segmentierung verschiedener Organe und Körpersysteme in Computertomographie- (CT) und Magnetresonanztomographie- (MRT) Scans. Spezifische Fälle umfassen die Segmentierung von Gehirnbildern (BRATS) und Leberbildern (siliver07) sowie die Vorhersage von Protein-Bindungsstellen. U-Net-Implementierungen finden auch in den physikalischen Wissenschaften Verwendung, beispielsweise bei der Analyse von Mikrografien von Materialien.
Variationen des U-Net wurden auch für die medizinische Bildrekonstruktion angewendet. Hier sind einige Varianten und Anwendungen von U-Net wie folgt:
- Pixelweise Regression mit U-Net und ihre Anwendung auf Pansharpening.
- 3D-U-Net: Lernen dichte volumetrische Segmentierung aus spärlicher Annotation.
- TernausNet: U-Net mit VGG11-Encoder, vorab trainiert auf ImageNet für die Bildsegmentierung.
- Bild-zu-Bild-Übersetzung zur Schätzung von Fluoreszenzfärbungen.
- Bei der Vorhersage von Bindungsstellen in Proteinstrukturen.
Verwendung in Diffusionsmodellen
Die U-Net-Architektur wird auch in Diffusionsmodellen für die iterative Bildentrauschung eingesetzt. Diese Technologie liegt vielen modernen Bildgenerierungsmodellen zugrunde, wie DALL-E, Midjourney und Stable Diffusion. In diesen Modellen wird ein U-Net trainiert, um das Rauschen vorherzusagen, das bei jedem Schritt des Diffusionsprozesses zu einem Bild hinzugefügt wird, sodass das Modell eine zufällige Rauscheingabe schrittweise in ein kohärentes Bild verfeinern kann. Die Skip-Verbindungen in U-Net sind hier besonders vorteilhaft, da sie hochfrequente Details während des Entrauschungsprozesses bewahren.
Erkundung für Sprachmodelle
U-Net wird auch für Sprachmodelle erforscht. Die Tokenisierung ist kein separater Schritt, was es dem Modell ermöglicht, Rechtschreibung leichter zu verstehen und gleichzeitig Konzepte höherer Ebene zu vektorisieren bzw. zu tokenisieren. Dies ist ein aufkommendes Forschungsgebiet, das die Fähigkeit von U-Net nutzt, mehrskalige Merkmale zu erfassen, und möglicherweise eine Alternative zur dominierenden Transformer-Architektur in der natürlichen Sprachverarbeitung bietet.
Geschichte und Vermächtnis
U-Net wurde 2015 von Olaf Ronneberger, Philipp Fischer und Thomas Brox erstellt und im Papier „U-Net: Convolutional Networks for Biomedical Image Segmentation“ vorgestellt. Es ist eine Verbesserung und Weiterentwicklung von FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell (2014). „Fully convolutional networks for semantic segmentation“. Das Papier ist eines der am häufigsten zitierten im Bereich des Deep Learning, und die Architektur wurde für unzählige Aufgaben über die biomedizinische Bildgebung hinaus angepasst.
Der Erfolg von U-Net hat viele Varianten inspiriert, darunter solche mit unterschiedlichen Encodern (wie VGG oder ResNet), Aufmerksamkeitsmechanismen und mehrskaliger Verarbeitung. Sein Einfluss erstreckt sich auf andere Bereiche des maschinellen Lernens, einschließlich generativer KI und Computer Vision. Die Architektur ist auch eine gängige Baseline in medizinischen Bildgebungsherausforderungen und wird in Frameworks wie TensorFlow und PyTorch weit verbreitet implementiert.
Implementierungen
Mehrere Open-Source-Implementierungen von U-Net sind verfügbar. Tensorflow Unet von J Akeret (2017) ist eine beliebte Implementierung. Der ursprüngliche U-Net-Quellcode ist von der Gruppe für Mustererkennung und Bildverarbeitung am Institut für Informatik der Universität Freiburg, Deutschland, verfügbar. Diese Implementierungen haben die weit verbreitete Übernahme von U-Net in Forschung und Industrie erleichtert.