U-Net是一种为图像分割（尤其是生物医学图像分割）而开发的卷积神经网络架构。它由Olaf Ronneberger、Philipp Fischer和Thomas Brox于2015年在德国弗莱堡大学提出。该架构是对全卷积网络（FCN）的修改和扩展，FCN由Evan Shelhamer、Jonathan Long和Trevor Darrell于2014年提出，用于语义分割。U-Net的设计初衷是在训练图像较少的情况下仍能高效工作，同时产生更精确的分割结果。这一能力使其在医学影像领域得到广泛应用，并后来影响了生成式人工智能系统。
该网络的工作原理是遵循一条收缩路径和一条扩展路径，形成U形架构，这也是其名称的由来。收缩路径（编码器）通过重复的卷积、ReLU激活和最大池化操作来降低空间分辨率，同时增加特征图数量。扩展路径（解码器）则通过上采样和上卷积操作恢复空间维度，并通过跳跃连接将编码器的高分辨率特征图与对应的解码器层拼接起来。这种设计使网络能够将粗粒度的语义信息与细粒度的空间细节相结合，从而产生精确的逐像素预测。该架构仅使用有效的卷积操作，不包含任何全连接层，因此可以处理任意尺寸的输入图像。为了处理图像边界区域，输入图像通过镜像方式进行外推；对于大尺寸图像，则采用平铺策略，将图像划分为重叠的图块并独立处理，以克服GPU内存限制。
起源与设计动机
U-Net首次发表于论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》，该论文于2015年在医学图像计算与计算机辅助干预国际会议上发表。作者指出，以往用于分割的卷积网络通常需要大量训练数据，而生物医学任务中专家标注往往稀缺。他们的关键创新在于，用上采样操作替代池化层，补充到收缩网络之后。这使得网络能够基于高层上下文和低层细节来学习生成精确的输出。论文证明，该架构能够在当时（2015年）的GPU上，于不到一秒的时间内完成512×512图像的分割。
该网络的扩展路径包含大量特征通道，这使得上下文信息能够传播到更高分辨率的层。由此产生的路径与收缩路径几乎对称。原始实现采用了这种U形结构，并通过镜像输入边界来处理缺失的上下文信息。这使得网络能够预测靠近图像边缘的像素，而不会损失精度。此外，平铺策略使得大尺寸图像可以被处理，因为单个图块的大小可以根据GPU内存进行调整。
在生物医学图像分割中的应用
U-Net成为生物医学图像分割的标准工具，广泛应用于计算机断层扫描（CT）和磁共振成像（MRI）图像的分割。它已被用于分割各种器官和身体系统，包括BraTS挑战中的脑肿瘤分割以及“siliver07”数据集中的肝脏分割。该方法还被用于蛋白质结合位点预测，用于识别蛋白质结构中的特定区域。其成功源于能够在训练数据较少的情况下生成精确且密集的分割图，相比其他方法具有优势。截至2025年，其变体仍被广泛用于现代医学图像分析任务。
变体与扩展
U-Net架构衍生出了众多针对不同任务的变体。3D U-Net于2016年提出，将该架构扩展到三维体数据，并支持稀疏标注下的三维形状分割。TernausNet将预训练的VGG11编码器引入U-Net，提升了目标检测和语义分割等任务的性能。另一个实现是J Akeret于2017年提出的TensorFlow U-Net，展示了该架构在不同框架间的可移植性。逐像素回归U-Net已被应用于卫星图像的全色锐化，而图像到图像的转换则使用U-Net变体来估计显微镜图像中的荧光染色。此外，基于感受野的U-Net模型在医学分割领域也引起了关注，其重点是调整感受野大小以提高精度。
在生成模型中的应用
U-Net在扩散模型的发展中起到了关键作用，扩散模型广泛用于迭代图像去噪。这些方法构成了现代图像生成模型（如DALL-E、Midjourney和Stable Diffusion）的基础。在扩散模型中，U-Net通常用于在反向扩散过程的每一步预测噪声，从而从高斯噪声中迭代地细化图像。其凭借跳跃连接保留高分辨率细节并捕捉大范围上下文的能力，使其非常适合这一任务。由于Stable Diffusion已成为广为人知的应用，U-Net如今被公认为生成式AI（超越生物医学成像领域）的核心构建模块。
在语言与视觉领域的探索
在图像处理领域取得成功之后，研究人员开始探索将U-Net架构应用于语言模型和其他AI应用。在语言领域，一个方向是将分词集成到模型中，而不是预先计算单独的步骤。这使得模型能够更轻松地理解拼写，并同时向量化更高层次的概念。截至2020年代初，将U-Net用于自然语言处理的想法仍处于实验阶段，尚未在Transformer (architecture)或Large language model等生产系统中广泛采用。该架构结合粗粒度和细粒度特征的模式，可能适用于需要类似分割输出的任务，但其在语言领域的应用仍然有限。未来它可能在多模态应用中发挥作用，例如将语言与图像联系起来。
计算效率与实际应用
U-Net的设计支持高效计算。收缩路径通过下采样初步减少计算量，而扩展路径仅增加部分特征通道。由于没有全连接层，仅使用卷积操作，该网络可以在各种硬件上进行训练。2015年，在不到一秒内处理512×512图像的性能在当时引起了关注。现代实现（如TensorFlow）进一步优化了性能。U-Net的性能常常受益于使用预训练编码器（参见迁移学习）以改善初始化。该架构的内存使用可以通过平铺策略进行管理，这使得没有大型GPU集群的研究人员也能使用它。
影响与遗产
U-Net被认为是计算机视觉领域的基础模型，尤其是在分割任务中。其成功启发了学术界和工业界的众多后续工作。该架构随后影响了自动驾驶、卫星影像和材料科学等领域的分割应用。其向扩散模型的扩展也扩大了其在AI图像生成中的影响。原始论文被全球数千名研究人员引用，产生了巨大影响，源代码由弗莱堡大学的模式识别与图像处理小组公开提供。U-Net证明了设计良好且相对简单的模型可以带来广泛的影响。