DenseNet（密集连接卷积网络）是一种用于图像识别的神经网络架构，它以前馈方式将每一层与所有其他层连接起来。与具有L层且仅有L个连接的传统卷积网络不同，DenseNet拥有L(L+1)/2个直接连接。对于每一层，所有先前层的特征图都被用作输入，而其自身的特征图则被用作所有后续层的输入。这种密集连接模式在2016年由高黄、刘壮、劳伦斯·范德马滕和基利安·Q·温伯格发表的论文中提出，并在2017年IEEE计算机视觉与模式识别会议（CVPR）上展示。
该架构旨在解决深度网络中的梯度消失问题。通过提供从早期层到后期层以及损失函数的短路径，DenseNet促进了训练过程中梯度的流动。它还鼓励特征重用，因为每一层都从所有先前层接收集体知识，从而产生更紧凑的模型。DenseNet在ImageNet和CIFAR基准测试中取得了显著成果，通常比基于残差连接的类似架构（如深度学习模型）需要更少的参数。
密集连接与增长率
在DenseNet中，第l层接收所有先前层的特征图x_0, x_1, ..., x_{l-1}作为输入。第l层的输出定义为x_l = H_l([x_0, x_1, ..., x_{l-1}])，其中[x_0, x_1, ..., x_{l-1}]表示特征图的拼接。函数H_l是一个复合操作，通常包括批归一化、修正线性单元（ReLU）激活和3x3卷积。这种拼接而非求和的方式，将DenseNet与使用加法跳跃连接的残差网络区分开来。
每一层添加固定数量的特征图，称为增长率k。如果每个H_l产生k个特征图，那么第l层具有k_0 + k*(l-1)个输入特征图，其中k_0是输入图像的通道数。常见的增长率为12、24和32。较小的增长率导致更窄的网络，而较大的值则增加容量。密集连接意味着特征图的总数随深度呈二次增长，但瓶颈层和压缩的使用有助于控制模型大小。
瓶颈层与压缩层
为了提高计算效率，DenseNet在每种H_l中为DenseNet-B等架构引入了瓶颈层。瓶颈层包括批归一化、ReLU、一个将特征图数量减少到4k的1x1卷积，随后是一个3x3卷积。这种设计减少了3x3卷积的输入通道数，从而降低了参数数量和计算成本。例如，在DenseNet-BC中，瓶颈与压缩相结合。
压缩由theta参数（值小于或等于1）表示，应用于过渡层。过渡层放置在密集块之间，包括批归一化、1x1卷积和2x2平均池化操作。1x1卷积将特征图数量减少theta倍。当theta小于1时，网络被称为DenseNet-C。瓶颈与压缩的组合DenseNet-BC被证明特别有效，以比其他架构更少的参数实现了高精度。
密集块与过渡层
网络被组织成密集块，其中密集连接在每个块内应用。在块之间，过渡层控制特征图的大小。典型的ImageNet DenseNet架构，如DenseNet-121，由四个密集块组成，分别有6、12、24和16层，增长率为32。第一个密集块之前的第一个卷积层有64个通道。在最后一个密集块之后，全局平均池化层和softmax分类器产生输出。块之间的过渡层使用压缩来减少特征图数量，这有助于减少模型的内存占用。
训练与性能
DenseNet模型使用带动量的随机梯度下降、权重衰减以及包含预热和衰减的学习率计划进行训练。常用的数据增强技术包括随机裁剪、翻转和归一化。在ILSVRC 2012数据集上，DenseNet-201实现了22.15%的top-1错误率和6.20%的top-5错误率，这在当时与最先进的结果相当。在CIFAR-10和CIFAR-100上，增长率为12的DenseNet-BC分别实现了3.46%和17.18%的错误率，以更少的参数优于许多残差网络变体。
密集连接还提供了一种隐式的深度监督形式，因为每一层都能直接访问来自损失函数的梯度。这一特性减少了对辅助分类器的需求。DenseNet已被广泛应用于各种计算机视觉任务，包括语义分割、目标检测和医学图像分析。其设计原则影响了后续架构，例如用于人工智能图像理解系统的架构。
影响与变体
DenseNet的成功催生了多种变体和扩展。例如，密集连接的概念与其他机制相结合，形成了双路径网络等模型，这些模型融合了残差和密集连接。在机器学习研究领域，DenseNet已被用作许多应用中特征提取的主干网络。其高效的参数使用使其适合部署在资源受限的设备上，包括来自三星电子和其他移动硬件制造商的设备。该架构还作为神经网络设计研究（如探索宽度、深度和基数影响的研究）的基线。尽管像变换器这样的新架构在某些领域已占主导地位，但DenseNet仍然是卷积网络设计中的基础模型。