DenseNet（Densely Connected Convolutional Network）は、画像認識のためのニューラルネットワークアーキテクチャであり、各層をフィードフォワード方式で他のすべての層に接続する。L層を持つ従来の畳み込みネットワークがL個の接続を持つ一方、DenseNetはL(L+1)/2個の直接接続を持つ。各層について、先行するすべての層の特徴マップが入力として使用され、自身の特徴マップは後続のすべての層への入力として使用される。この高密度な接続パターンは、2016年の論文でGao Huang、Zhuang Liu、Laurens van der Maaten、Kilian Q. Weinbergerによって導入され、2017年のIEEEコンピュータビジョンおよびパターン認識会議（CVPR）で発表された。
このアーキテクチャは、深いネットワークにおける勾配消失問題に対処するために設計された。初期の層から後期の層および損失関数への短い経路を提供することで、DenseNetはトレーニング中の勾配の流れを促進する。また、各層が先行するすべての層から集合的な知識を受け取るため、特徴の再利用を促進し、よりコンパクトなモデルにつながる。DenseNetはImageNetおよびCIFARベンチマークで顕著な結果を達成し、多くの場合、深層学習における残差接続に基づく同等のアーキテクチャよりも少ないパラメータで済んだ。
高密度接続と成長率
DenseNetでは、l番目の層は先行するすべての層の特徴マップ、x_0、x_1、...、x_{l-1}を入力として受け取る。l番目の層の出力はx_l = H_l([x_0, x_1, ..., x_{l-1}])と定義され、ここで[x_0, x_1, ..., x_{l-1}]は特徴マップの連結を表す。関数H_lは、通常、バッチ正規化、正規化線形ユニット（ReLU）活性化、および3x3畳み込みを含む複合操作である。この加算ではなく連結が、加法的なスキップ接続を使用する残差ネットワークからDenseNetを区別する。
各層は、成長率kと表記される固定数の特徴マップを追加する。各H_lがk個の特徴マップを生成する場合、l番目の層はk_0 + k*(l-1)個の入力特徴マップを持ち、ここでk_0は入力画像のチャネル数である。一般的な成長率は12、24、32である。成長率が小さいとネットワークが狭くなり、大きいと容量が増加する。高密度接続により、特徴マップの総数は深さに対して二次関数的に増加するが、ボトルネック層と圧縮の使用によりモデルサイズの制御に役立つ。
ボトルネック層と圧縮層
計算効率を向上させるため、DenseNetはDenseNet-Bなどのアーキテクチャにおいて、各H_lにボトルネック層を組み込んでいる。ボトルネック層は、バッチ正規化、ReLU、特徴マップ数を4kに削減する1x1畳み込み、それに続く3x3畳み込みで構成される。この設計により、3x3畳み込みへの入力チャネル数が削減され、パラメータ数と計算コストが低減される。例えば、DenseNet-BCでは、ボトルネックが圧縮と組み合わされている。
圧縮は、thetaパラメータ（1以下の値を持つ）で表され、遷移層で適用される。高密度ブロック間に配置される遷移層は、バッチ正規化、1x1畳み込み、および2x2平均プーリング操作で構成される。1x1畳み込みは、特徴マップ数をthetaの係数で削減する。thetaが1未満の場合、ネットワークはDenseNet-Cと呼ばれる。ボトルネックと圧縮の組み合わせであるDenseNet-BCは、特に効果的であることが示され、他のアーキテクチャよりも少ないパラメータで高い精度を達成した。
高密度ブロックと遷移層
ネットワークは高密度ブロックに編成され、高密度接続は各ブロック内で適用される。ブロック間では、遷移層が特徴マップのサイズを制御する。ImageNet用の典型的なDenseNetアーキテクチャ、例えばDenseNet-121は、それぞれ6、12、24、16層の4つの高密度ブロックで構成され、成長率は32である。最初の高密度ブロックの前の最初の畳み込み層は64チャネルを持つ。最後の高密度ブロックの後、グローバル平均プーリング層とソフトマックス分類器が出力を生成する。ブロック間の遷移層は圧縮を使用して特徴マップ数を削減し、モデルのメモリフットプリントの削減に役立つ。
トレーニングとパフォーマンス
DenseNetモデルは、モーメンタム、重み減衰、およびウォームアップと減衰を含む学習率スケジュールを用いた確率的勾配降下法を使用してトレーニングされる。ランダムクロッピング、フリッピング、正規化などのデータ拡張技術が一般的に使用される。ILSVRC 2012データセットでは、DenseNet-201はトップ1エラー率22.15%およびトップ5エラー率6.20%を達成し、当時の最先端の結果と競合した。CIFAR-10およびCIFAR-100では、成長率12のDenseNet-BCがそれぞれ3.46%および17.18%のエラー率を達成し、多くの残差ネットワーク変種を少ないパラメータで上回った。
高密度接続はまた、暗黙的な深層監視の形態を提供し、各層が損失関数からの勾配に直接アクセスできる。この特性により、補助分類器の必要性が減少する。DenseNetは、セマンティックセグメンテーション、物体検出、医用画像解析など、さまざまなコンピュータビジョンタスクで広く採用されている。その設計原則は、人工知能システムにおける画像理解に使用される後続のアーキテクチャに影響を与えた。
影響と変種
DenseNetの成功は、いくつかの変種と拡張につながった。例えば、高密度接続の概念は、Dual Path Networksなどのモデルで他のメカニズムと組み合わされ、残差接続と高密度接続を統合した。機械学習研究の文脈では、DenseNetは多くのアプリケーションで特徴抽出のバックボーンとして使用されてきた。そのパラメータの効率的な使用は、サムスン電子や他のモバイルハードウェアメーカーを含むリソース制約のあるデバイスへの展開に適している。このアーキテクチャはまた、幅、深さ、カーディナリティの影響を探るニューラルネットワーク設計の研究のベースラインとしても機能した。トランスフォーマーなどの新しいアーキテクチャが一部の分野で支配的になっている一方で、DenseNetは畳み込みネットワーク設計における基礎的なモデルであり続けている。