ニューラルネットワークの文脈における量子化とは、モデルで使用されるパラメータ（重み）と中間値（活性化）の数値精度を低減するプロセスを指します。標準的な深層学習では、モデルは通常、32ビット浮動小数点数（FP32）でトレーニングされ、これは高い精度を提供しますが、かなりのメモリと計算を消費します。量子化はこれらの値を8ビット整数（INT8）や4ビット整数（INT4）などの低精度形式にマッピングし、モデルサイズを縮小し、整数演算をサポートするハードウェアでの推論を高速化します。この技術は、特にエッジデバイスや効率が最優先されるデータセンターにおいて、大規模なArtificial intelligenceシステムの展開に不可欠となっています。
量子化の概念はデジタル信号処理に由来し、そこでは入力値を大きな集合（多くの場合連続的）からより小さな可算集合へのマッピングとして定義されます。ニューラルネットワークでは、このマッピングは量子化誤差（量子化ノイズとも呼ばれる）を導入し、注意深く管理しないとモデルの精度を低下させる可能性があります。しかし、現代の量子化手法は、キャリブレーション、ファインチューニング、または高度なアルゴリズムを通じてこの誤差を最小化することを目的としており、モデルが最小限の性能損失で低精度で動作できるようにします。
歴史的背景
ニューラルネットワークへの量子化の適用は、Machine learning研究の初期にまで遡り、ハードウェアの制約が低精度演算の使用を動機付けました。1980年代と1990年代には、研究者たちは計算の複雑さを減らすためにバイナリおよびターンリ重みネットワークを探求しましたが、これらの初期の試みは適切なハードウェアの不足とモデルの規模の小ささによって大きく制限されました。2010年代のDeep learningの復活は、グラフィックス処理ユニットと大規模データセットによって推進され、当初は高精度トレーニングを好みました。しかし、モデルが大きくなり、モバイルフォンや組み込みシステムに展開され始めると、量子化は重要な最適化として再浮上しました。
重要なマイルストーンは2015年に発生し、「BinaryConnect」の出版により、バイナリ重みが小規模データセットで競争力のある精度を達成できることが実証されました。これに続いて、ターンリ重みネットワークや、再トレーニングを必要としないポストトレーニング量子化（PTQ）手法に関する研究が行われました。2010年代後半までに、TensorFlowやPyTorchなどのフレームワークが量子化ツールを統合し、この技術を実務者にとって利用しやすくしました。2020年代の大規模言語モデルの台頭、例えばOpenAIやAnthropicによって開発されたものは、これらのモデルがしばしば数百ギガバイトのメモリフットプリントを超えるため、量子化への関心をさらに加速させました。
数学的基礎
ニューラルネットワークにおける量子化は、信号処理と同じ基本原理に従います。量子化器は入力値\(x\)を有限集合からの出力値\(Q(x)\)にマッピングします。ステップサイズ\(\Delta\)の一様量子化器の場合、マッピングはしばしば次のように表現されます：
\[ Q(x) = \Delta \cdot \left\lfloor \frac{x}{\Delta} + \frac{1}{2} \right\rfloor \]
ここで\(\lfloor \cdot \rfloor\)は床関数を表します。これはミッドトレッド量子化器であり、\(\Delta\)の最も近い整数倍に丸めます。量子化誤差は入力と出力の差であり、小さなステップサイズの場合、平均二乗誤差はおおよそ\(\Delta^2/12\)です。量子化器に1ビット追加すると\(\Delta\)が半分になり、ノイズパワーが4分の1に減少し、約-6 dBに相当します。
ニューラルネットワークでは、量子化は通常、多次元配列であるテンソルに適用されます。このプロセスは2つの段階に分解できます：前方量子化（各値を整数インデックスにマッピング）と再構成（インデックスを代表値にマッピング）です。例えば、INT8量子化では、浮動小数点値\(x\)はスケーリング係数\(s\)とゼロ点\(z\)によってスケーリングされ、整数\(q\)を生成します：
\[ q = \text{round}(\frac{x}{s} + z) \]
そして、逆量子化された値は\(\hat{x} = s(q - z)\)です。スケーリング係数\(s\)は値の範囲に基づいて選択され、多くの場合、検証データセットでのキャリブレーションによって決定されます。
量子化の種類
量子化手法は、ポストトレーニング量子化（PTQ）と量子化対応トレーニング（QAT）の2つのタイプに大別できます。PTQはモデルがトレーニングされた後に適用され、追加のトレーニングデータを必要としません。これはシンプルで高速ですが、特に非常に低い精度では精度の低下を引き起こす可能性があります。一方、QATはトレーニング中に量子化をシミュレートし、モデルが低精度に適応できるようにします。これはしばしばより良い精度をもたらしますが、より多くの計算リソースを必要とします。
もう1つの区別は、一様量子化と非一様量子化の間です。一様量子化は等間隔のレベルを使用し、ハードウェアでの実装が簡単です。対数ベースやk-meansベースのクラスタリングなどの非一様量子化は、値密度が高い領域により多くのレベルを割り当て、誤差を減らす可能性がありますが、ハードウェアサポートを複雑にします。さらに、量子化は重みのみ、活性化のみ、またはその両方に適用できます。重みのみの量子化はモデル圧縮に一般的であり、活性化量子化は完全な整数推論に必要です。
ハードウェアサポートと展開
量子化は、低精度演算をサポートするハードウェアで特に効果的です。IntelとAMDはCPUにINT8命令を組み込んでおり、NVIDIA GPU（提供されたリストにはありませんが、広く使用されています）やAWS TrainiumやGroqなどの専用アクセラレータは量子化推論に最適化されています。QualcommやArm Holdingsからのモバイルおよび組み込みプロセッサも、メモリ帯域幅と消費電力の削減の恩恵を受けています。例えば、AppleのNeural EngineやSamsung ElectronicsのExynosチップは、量子化を活用してオンデバイスAIタスクを効率的に実行します。
クラウド環境では、Amazon Web Services、Google Cloud、Microsoft Azureが量子化モデルを使用してレイテンシとコストを削減するサービスを提供しています。TSMCとBroadcomは、混合精度演算をサポートするチップを製造し、柔軟な展開を可能にしています。量子化への傾向は、Transformer (architecture)ベースのモデルの設計にも影響を与えており、注意層を量子化して品質を大幅に損なうことなくメモリ使用量を削減できます。
大規模言語モデルへの影響
大規模言語モデル（LLM）は量子化研究の主要な推進力となっています。1750億のパラメータを持つGPT-3のようなモデルは、FP32で数百ギガバイトのメモリを必要とし、展開を非現実的にします。8ビットまたは4ビットへの量子化はメモリフットプリントを4〜8倍削減でき、これらのモデルをコンシューマハードウェアで実行したり、データセンターで効率的にサービス提供したりできます。GPTQやAWQなどの技術は、LLMを4ビットに量子化しながら、その能力のほとんどを維持するために開発されました。
しかし、LLMは活性化値の外れ値による独自の課題を提示し、量子化範囲を歪める可能性があります。研究者たちは、重要な層を高精度に保つ混合精度スキームや、入力分布に適応する動的量子化手法を提案しています。Google DeepMindやmeta（リストにはありません）などの企業は、LLMの量子化に関する広範な研究を発表しており、Hugging FaceのTransformersライブラリ（リストにはありません）などのオープンソースツールは量子化サポートを統合しています。
課題と将来の方向性
量子化における主な課題は、効率と精度のバランスを取ることです。積極的な量子化は、特にGenerative AIやMachine learningアプリケーションなど、細かい推論を必要とするタスクでは、大幅な性能低下につながる可能性があります。エントロピーベースやパーセンタイルベースの範囲選択などのキャリブレーション方法はこれを軽減するのに役立ちますが、注意深い調整が必要です。もう1つの問題は、非常に低い精度（例えば2ビット）に対する標準化されたハードウェアサポートの欠如ですが、SambaNovaやGraphcoreからの新しいチップがこの領域を探求しています。
将来の研究は、層の感度に基づいて精度を動的に調整する適応量子化や、Model Pruningや他の圧縮技術との量子化の共同最適化に焦点を当てる可能性があります。さらに、Neural networkアーキテクチャが進化するにつれて、量子化手法はTransformer (architecture)モデルの注意メカニズムなどの新しい操作に適応する必要があります。最終的な目標は、ほぼロスレス圧縮を達成し、Waymoの自動運転車からIntuitive Surgicalの医療ロボットまで、あらゆるデバイスでAIモデルを実行できるようにすることです。
結論
量子化は効率的なAI展開の基盤となり、本番環境での深層学習の広範な使用を可能にしました。数値精度を低減することで、メモリ要件を下げ、推論を高速化し、エネルギー消費を削減しながら、許容可能な精度を維持します。ハードウェアが進化し続け、モデルが大きくなるにつれて、量子化はAIツールキットにおいて不可欠なツールであり続け、理論的な能力と実用的な制約の間のギャップを埋めるでしょう。