U-Net是一种为图像分割开发的卷积神经网络架构，尤其在生物医学领域应用广泛。它于2015年由德国弗莱堡大学的Olaf Ronneberger、Philipp Fischer和Thomas Brox提出。该架构是对全卷积网络（FCN）的修改和扩展，后者于2014年由Evan Shelhamer、Jonathan Long和Trevor Darrell提出，用于语义分割。U-Net的设计目标是能够在训练图像较少的情况下有效工作，同时产生更精确的分割结果。这一能力使其在医学影像领域被广泛采用，并后来对生成式人工智能系统产生了影响。
该网络基于收缩路径和扩张路径的原理运作，形成U形架构，这也是其名称的由来。收缩路径（编码器）通过重复的卷积、修正线性单元（ReLU）激活和最大池化操作来降低空间分辨率，同时增加特征图数量。扩张路径（解码器）使用上采样和上卷积来恢复空间维度，并通过跳跃连接将编码器的高分辨率特征图与相应的解码器层拼接。这种设计使网络能够将粗粒度的语义信息与细粒度的空间细节相结合，从而产生准确的逐像素预测。该架构仅使用有效卷积操作，不包含任何全连接层，因此可以处理不同尺寸的输入图像。为了处理边界区域，输入图像通过边界镜像进行外推，对于大图像，采用分块策略将图像划分为重叠的块并独立处理，以克服GPU内存限制。
起源与设计动机
U-Net首次在2015年于国际医学图像计算与计算机辅助干预会议上发表的论文《U-Net：用于生物医学图像分割的卷积网络》中提出。作者指出，以往用于分割的卷积网络需要大量训练数据集，而这在生物医学任务中往往不可得，因为专家标注稀缺。他们的关键创新在于，用上采样操作替换池化操作，补充到收缩网络中。这使得网络能够基于高层上下文和低层细节学习组装精确的输出。论文证明，该架构能够在当时的（2015年）GPU上不到一秒内完成512×512图像的分割。
网络的扩张路径包含大量特征通道，这使得上下文能够传播到更高分辨率的层。生成的路径与收缩路径几乎对称。原始实现设计为这种U形结构，并通过在边界镜像输入来外推缺失的上下文。这使得网络能够预测靠近图像边缘的像素而不损失精度。此外，分块策略使得高分辨率图像能够被处理，因为单个块的大小可以根据GPU内存进行调整。
在生物医学图像分割中的应用
U-Net成为生物医学图像分割的标准工具，应用于计算机断层扫描（CT）和磁共振成像（MRI）扫描。它已被用于分割各种器官和身体系统，包括BraTS挑战中的脑图像分割和'siliver07'数据集中的肝脏分割。该方法还被用于蛋白质结合位点预测，其中需要识别蛋白质结构上的特定区域。其成功源于其能够生成精确且密集的分割图，同时相比替代方法需要更少的训练数据。截至2025年，其变体仍被用于现代医学图像分析任务。
变体与扩展
U-Net架构已出现众多针对不同任务调整的变体。3D U-Net于2016年提出，将架构扩展到具有稀疏标注的体数据，用于3D形状分割。TernausNet将预训练的VGG11编码器适配到U-Net，提高了目标检测和语义分割等任务的分割性能。另一个实现，J Akeret的TensorFlow U-Net（2017），展示了该架构在不同框架间的可移植性。逐像素回归U-Net已应用于卫星图像的全色锐化，图像到图像转换使用U-Net变体来估计显微镜图像中的荧光染色。此外，基于感受野的U-Net模型在医学分割中引起了关注，专注于调整感受野大小以提高准确性。
U-Net在生成模型中的应用
U-Net架构在扩散模型的发展中至关重要，扩散模型广泛用于迭代图像去噪。这些方法构成了现代图像生成模型（如DALL-E、Midjourney和Stable Diffusion）的基础。在扩散模型中，U-Net通常用于在反向扩散过程的每一步预测噪声，从高斯噪声中迭代细化图像。由于其能够通过权重跳跃连接保留高分辨率细节并捕捉大规模上下文，因此非常适合此任务。由于Stable Diffusion已成为广为人知的应用，U-Net现在被公认为生成式AI的核心构建模块，超越了生物医学成像领域。这增加了其在医学领域之外的关联性。
在语言与视觉中的探索
基于其在图像处理中的成功，研究人员已探索将U-Net架构适配到语言模型和其他AI应用。对于语言，一个方向是将分词集成到模型中，而不是预先计算单独的步骤。这允许模型更容易地理解拼写，并同时向量化更高层次的概念。截至2020年代初，将U-Net用于自然语言处理的想法仍处于实验阶段，尚未广泛用于像Transformer (architecture)或Large language model这样的生产系统。该架构结合粗粒度和细粒度特征的模式可能对需要类似分割输出的任务有用，但其在语言中的采用仍然有限。它可能在多模态应用中找到用途，例如将语言与图像联系起来。
计算效率与实际应用
U-Net的设计支持计算效率。收缩路径通过下采样减少计算量，而扩张路径仅增加部分特征通道。由于没有全连接层且仅使用卷积操作，它可以在各种硬件上训练。2015年报告的在约一秒内处理512×512图像在当时是显著的。现代实现如TensorFlow已进一步优化。U-Net的性能通常受益于使用预训练编码器（参见迁移学习）以改进初始化。该架构的内存使用可以通过分块管理，其灵活性使其对没有大型GPU集群的研究人员也可访问。
影响与遗产
U-Net被认为是计算机视觉中的基础模型，尤其在分割任务中。其成功启发了学术界和商业应用中的众多后续工作。该架构随后影响了自动驾驶、卫星图像和材料科学等领域的图像分割。其扩展到扩散模型扩大了对AI图像生成的影响。原始论文产生了巨大影响，被全球数千名研究人员引用，源代码可从弗莱堡大学模式识别与图像处理小组公开获取。U-Net证明了设计良好、相对简单的模型可以带来广泛影响。