プルーニング（刈り込み）は、深層学習の文脈において、既存の人工ニューラルネットワークからパラメータを除去する手法である。主な目的は、パラメータ数で測定されるネットワークのサイズを削減し、それに伴って実行に必要な計算リソースを減らすことであるが、精度は可能な限り維持することが求められる。このプロセスは、哺乳類の脳が発達過程で弱い神経接続を排除して効率を高める生物学的シナプス刈り込みと概念的に類似している。
プルーニング技術は、構造的プルーニングと非構造的プルーニングの2種類に大別される。構造的プルーニングは、ニューロン（ノード）や層などの構造単位全体を除去し、ネットワークを物理的に小さくして標準的なハードウェアでの高速化を容易にする。一方、非構造的プルーニングは、ネットワークのアーキテクチャを変えずに個々の重み（エッジ）をゼロに設定し、スパースなネットワークを生成する。このスパース性を速度向上に活かすには、専用のソフトウェアまたはハードウェアが必要となる。これらのアプローチの選択には、精度維持、ハードウェア互換性、実装の複雑さの間でのトレードオフが伴う。
ノード（ニューロン）プルーニング
ノードプルーニングは構造的プルーニングの一種であり、ニューラルネットワークからニューロン全体を除去する。このプロセスの基本的なアルゴリズムは、いくつかのステップで構成される。まず、各ニューロンの重要度が、出力重みの大きさや検証データセットでの活性化パターンなどの選択された指標を用いて評価される。次に、明確に定義された指標が存在することを前提として、ニューロンが重要度に応じてランク付けされる。そして、最も重要度の低いニューロンが除去される。最後に、ユーザーが決定した終了条件がチェックされ、プルーニングを続行するかどうかが判断される。この条件は、目標精度の閾値、許容される最大精度低下、または望ましい最終ネットワークサイズなどである。ノードプルーニングは、パラメータ数と行列乗算の計算コストを直接削減するため、リソースに制約のあるデバイスへの展開に実用的な選択肢となる。
エッジ（重み）プルーニング
ニューラルネットワークプルーニングに関する研究と実務の多くは、個々の重みをゼロに設定して除去する非構造的プルーニングに焦点を当てている。このアプローチは、ネットワークの全層にわたって重みを比較するグローバルな方法と、各層内で個別に重みを比較するローカルな方法で実行できる。グローバルプルーニングは、冗長なパラメータが多い層から重みをより積極的に除去する傾向があり、ローカルプルーニングは層間でより均一なスパース性分布を確保する。
各重みの重要度を測定するために、さまざまな指標が使用される。重みの大きさは一般的で単純な指標であり、絶対値が小さい重みは重要度が低いと見なされる。より洗練された指標は、重みと勾配の積など、重みの大きさと勾配情報を組み合わせたものであり、これは損失関数のその重みに対する感度を近似する。この分野の初期の研究、例えばOptimal Brain Damage法やOptimal Brain Surgeon法では、重みを除去するだけでなく、除去を補償するために残りの重みの値を調整し、それによって高い精度を維持することが提案された。
ニューラルネットワークをいつプルーニングすべきか？
プルーニングは、ニューラルネットワークのライフサイクルの3つの異なる段階、すなわちトレーニング前、トレーニング中、トレーニング後に適用できる。各アプローチには、精度と計算コストの間で異なるトレードオフが伴う。
- トレーニング前: トレーニングが行われる前に、ランダムまたはヒューリスティックな基準に基づいてネットワークアーキテクチャをプルーニングすると、初期モデルサイズを削減できる。しかし、ネットワークがどのパラメータが重要かをまだ学習していないため、このアプローチは最適以下の精度につながる可能性がある。
- トレーニング中: プルーニングをトレーニングプロセスに統合し、ネットワークが学習するにつれてパラメータを徐々に除去できる。スパーストレーニングとも呼ばれるこの方法は、最終モデルサイズを削減しながら精度を維持できるが、慎重なスケジューリングが必要であり、トレーニングの複雑さが増す可能性がある。
- トレーニング後: 最も一般的なアプローチは、高密度ネットワークを完全にトレーニングし、その後プルーニングし、続いてプルーニングされたネットワークを微調整して失われた精度を回復することである。トレーニング中またはトレーニング後にプルーニングを実行する場合、通常、追加の微調整エポックが必要となる。微調整により、残りの重みがパラメータ除去に適応し、多くの場合、元の高密度モデルに近い精度が回復する。
モデル圧縮と効率への影響
プルーニングの主な動機は、モデル圧縮と効率化である。パラメータ数を削減するとメモリフットプリントが小さくなり、スマートフォンや組み込みシステムなどのエッジデバイスへのモデル展開に不可欠となる。また、推論に必要な浮動小数点演算（FLOPs）の数も削減され、実行の高速化とエネルギー消費の低減につながる。数十億のパラメータを持つ可能性がある大規模言語モデルの文脈では、プルーニングはこれらのモデルを実世界のアプリケーションでより実用的にするための活発な研究分野である。
他の技術との関係
プルーニングは、量子化や知識蒸留などの他のモデル圧縮技術と組み合わせられることが多い。量子化は重みの精度を削減し（例えば、32ビット浮動小数点から8ビット整数へ）、知識蒸留はより小さな生徒モデルをトレーニングして、より大きな教師モデルの出力を模倣させる。プルーニングは、これらの技術の前または後に適用して、さらなる圧縮を達成できる。例えば、プルーニングされたモデルを量子化してサイズをさらに削減したり、プルーニングされた教師モデルを使用してより小さな生徒に知識を蒸留したりできる。
課題と考慮事項
その利点にもかかわらず、プルーニングにはいくつかの課題がある。主要な問題の1つは、特に積極的なプルーニング率で発生する可能性のある精度低下である。微調整がしばしば必要となるが、元の精度を完全に回復できない場合がある。もう1つの課題は、スパースモデルに対するハードウェアサポートである。非構造的プルーニングは高いスパース性を達成できるが、標準的なハードウェアと深層学習フレームワークは高密度計算に最適化されていることが多く、高速化が制限される。一方、構造的プルーニングはハードウェアにより適しているが、特定の精度目標に対して圧縮率が低くなる可能性がある。さらに、重要度指標とプルーニングスケジュールの選択は最終モデルの品質に大きく影響する可能性があり、慎重な調整が必要となる。
アプリケーションと将来の方向性
プルーニングは、特にモバイルおよび組み込みアプリケーションにおいて、ニューラルネットワークを本番環境に展開する際に広く使用されている。アップル、サムスン電子、クアルコムなどの企業は、プルーニングを活用してモデルをデバイスの限られたメモリと電力予算に適合させている。人工知能の分野では、プルーニングはニューラルネットワークの動作を理解する手段としても研究されており、パラメータを除去することで、特定のタスクに不可欠なネットワークの部分が明らかになることがある。将来の研究方向には、より原理に基づいた重要度指標の開発、適応的プルーニングスケジュール、スパース性をより活用するためのハードウェアとソフトウェアの共同設計が含まれる。モデルが成長を続ける中、プルーニングはモデルを効率的でアクセスしやすくするための重要なツールであり続けるだろう。