U-Net是一种为图像分割开发的卷积神经网络，尤其在生物医学应用中表现突出。它于2015年由Olaf Ronneberger、Philipp Brox和Thomas Brox提出，扩展了全卷积网络（FCN）架构，使其能够在训练数据有限的情况下高效工作，同时生成精确的分割掩码。该网络独特的U形设计，包含一个收缩路径和一个扩张路径，并通过跳跃连接相连，使其能够结合高层语义特征与细粒度空间细节。除了最初的生物医学应用外，U-Net已成为扩散模型中图像生成的基础组件，并正在被探索用于语言建模任务。
U-Net架构源于全卷积网络（FCN），后者用卷积层替代全连接层以实现密集预测。U-Net的关键创新在于其对称的扩张路径，该路径将特征图上采样至原始分辨率，并通过跳跃连接将收缩路径中的高分辨率特征与之拼接。这种设计使网络能够保留空间信息，同时利用上下文，从而在像素级任务（如分割）中表现出色。
U-Net架构由两条主要路径组成：收缩路径（编码器）和扩张路径（解码器）。收缩路径遵循典型的卷积网络设计，重复应用3x3卷积，每次卷积后接整流线性单元（ReLU）和2x2最大池化操作进行下采样。在收缩过程中，空间维度逐渐减小，而特征通道数量增加，使网络能够捕获高层语义特征。
扩张路径通过上卷积（转置卷积）增加空间分辨率，并通过跳跃连接将收缩路径中对应的特征图拼接起来。这种对称性形成了U形拓扑结构，网络因此得名。U-Net仅使用有效卷积（无填充），且不包含全连接层，因此能够处理任意大小的输入。对于边界区域，网络通过镜像输入图像来外推缺失的上下文，这种技术称为反射填充。
原始U-Net论文还提出了一种平铺策略，用于处理大尺寸图像：将输入划分为重叠的图块，分别处理以适配GPU内存限制。这种方法使得高分辨率图像的分割成为可能，否则将因内存不足而无法实现。
U-Net的一个显著特点是使用跳跃连接，将收缩路径中的特征图与扩张路径中的对应层拼接。这些连接保留了在下采样过程中可能丢失的细粒度空间信息，使解码器能够生成精确的分割边界。扩张路径中大量的特征通道使网络能够将上下文信息传播到更高分辨率的层，从而提高像素级预测的准确性。
U-Net中的跳跃连接与残差网络（ResNet）中的残差连接不同；在U-Net中，特征图是拼接而非相加，这为解码器同时提供了高层和低层信息。这种设计在需要像素级精度的任务（如生物医学图像分割）中已被证明非常有效。
U-Net最初是为生物医学图像分割开发的，针对电子显微镜中的神经元结构分割和光学显微镜中的细胞分割等挑战。其能够在标注图像稀少的情况下进行训练，使其在标注数据稀缺的医学领域特别有价值。常见应用包括计算机断层扫描（CT）和磁共振成像（MRI）中的器官和解剖结构分割，例如脑肿瘤分割挑战（BraTS）和SLIVER07挑战中的肝脏分割。U-Net还用于蛋白质结构中的结合位点预测，以及卫星图像中的全色锐化等像素级回归任务。
U-Net的主要应用是图像分割，即为每个像素分配类别标签。在生物医学成像中，它被用于分割CT和MRI中的器官和结构。具体实例包括BraTS挑战中的脑肿瘤分割和SLIVER07挑战中的肝脏分割。该架构还支持蛋白质结合位点预测和材料科学中的显微图像分析。
U-Net的效率值得注意：截至2015年，在GPU上分割512 × 512图像不到一秒。这种速度使其适用于需要快速处理的临床和研究工作流程。
U-Net已成为扩散模型的基石，扩散模型是一类通过迭代去噪随机噪声来生成图像的生成模型。在这些模型中，U-Net通常用作去噪网络，预测扩散过程中每一步添加的噪声。U-Net中的跳跃连接在此特别有利，因为它们保留了生成清晰图像所需的高频细节。
该技术支撑了许多现代图像生成系统，包括DALL-E、Midjourney和Stable Diffusion。在Stable Diffusion中，U-Net在潜在空间中操作，对压缩表示进行去噪，以从文本提示生成高分辨率图像。该架构处理多尺度特征的能力使其非常适合扩散模型中的迭代细化过程。
扩散模型通过逐步向训练数据添加噪声，然后学习逆转这一过程来生成图像。去噪步骤是扩散过程的核心，依赖于神经网络来预测噪声或干净图像。U-Net已成为此去噪网络的事实标准选择，因为它能有效处理空间细节，并能通过交叉注意力机制整合条件信息（如文本嵌入或类别标签）。
现代图像生成系统，包括基于稳定扩散的模型，通常使用带有时间嵌入和交叉注意力机制的U-Net骨干来引导去噪过程。这种整合使U-Net成为生成式AI图像模型的基石，包括DALL-E、Midjourney和Stable Diffusion。该架构从噪声输入生成高分辨率输出的能力，与扩散过程的迭代细化特性高度契合。
除了图像处理，U-Net正在被探索用于语言建模。在此背景下，该架构处理序列数据时无需单独的标记化步骤，可能使模型更直接地理解拼写，并同时向量化更高层次的概念。截至当前日期，这一方向仍处于实验阶段，但它凸显了U-Net设计在视觉领域之外的通用性。
U-Net通常使用随机梯度下降（SGD）变体（如Adam）进行训练，并使用交叉熵或Dice损失等损失函数用于分割任务。数据增强常被用来扩大有效训练集规模，这在医学图像数据集通常较小的背景下至关重要。常见的增强方法包括弹性变形、旋转和强度变化。该网络的跳跃连接和对称结构使其能够使用标准深度学习框架进行端到端训练。
U-Net于2015年在医学图像计算与计算机辅助干预会议（MICCAI）上发表的论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中首次提出。它建立在Jonathan Long、Evan Shelhamer和Trevor Darrell于2014年提出的全卷积网络（FCN）架构之上。作者旨在解决生物医学研究中常见的小标注数据集学习挑战，通过数据增强和高效利用网络参数来实现。U-Net这一名称反映了其U形架构，与早期分割网络的不对称设计形成对比。
自推出以来，U-Net已成为医学图像分析领域被引用最多的架构之一。其影响力超越了分割领域：带有跳跃连接的编码器-解码器结构启发了跨领域的变体，包括图像恢复、超分辨率和生成建模。
除了判别性任务，U-Net已成为基于扩散的生成模型的核心组件，这类模型是生成式AI中的一个重要类别。在这些模型中，神经网络迭代地从图像中去除噪声，有效地逆转逐步加噪的过程。U-Net生成密集像素级预测的能力使其非常适合去噪任务。著名示例包括DALL-E和其他文本到图像模型，其中U-Net用于根据文本提示条件生成图像。这一角色凸显了该架构在其原始生物医学背景之外的通用性。
已开发出许多U-Net变体以解决特定限制或扩展能力。3D U-Net将该架构适配于体积数据，能够从稀疏标注中分割3D医学图像。U-Net++引入了嵌套跳跃连接，以改善梯度流动和分割精度。注意力U-Net结合了注意力门控机制，聚焦于相关特征并抑制无关特征。残差U-Net整合了残差块，以促进更深网络的训练。这些变体通常在特定应用中提升性能，例如医学图像重建或多模态分割。
近期研究还关注基于感受野的U-Net模型用于医学图像分割，这些模型调整网络的感受野，以有效捕获多尺度的上下文信息。
除了最初的生物医学应用范围，U-Net已被应用于遥感、自动驾驶和创意工具等领域。其在扩散模型中的使用使其与更广泛的生成式AI格局相连，影响了DALL-E和Midjourney等系统。研究人员还在探索U-Net变体用于语言建模，该架构处理空间层次结构的能力可能被适配到序列数据，尽管截至2023年这一方向仍处于早期阶段。该架构的成功凸显了具有跳跃连接的对称编码器-解码器设计对于需要全局上下文和局部精度的任务的重要性。