CLEVERスコア（Cross-Lipschitz Extreme Value for nEtwork Robustness）は、敵対的例に対するニューラルネットワーク分類器のロバスト性を評価するための定量的指標である。2018年にTsui-Wei Wengらによって提案され、与えられた入力に対するネットワークの分類を変更するために必要な最小摂動の下限を推定する。このスコアは、深層学習における中心的な課題、すなわち各入力に対して解くことが困難な最適化問題を回避しながら、最悪ケースのロバスト性を実用的かつスケーラブルに測定する方法を提供する。
従来の敵対的ロバスト性の測定方法は、成功する特定の摂動のみを見つける攻撃アルゴリズムや、計算コストが高く大規模ネットワークにはほとんどスケールしない形式的検証に依存することが多い。CLEVERは、理論的保証と計算効率の近似を組み合わせた代替手段を提供し、ニューラルネットワークや深層学習モデルなどの現代的なアーキテクチャで使用可能である。
方法論
CLEVERは、入力に対するネットワークの出力関数のリプシッツ定数を推定することで、局所的なロバスト性証明書を計算する。分類ネットワークの場合、関連する関数は、真のクラスと各競合クラスのロジット（ソフトマックス前の出力）の差である。局所リプシッツ定数は、入力が摂動されたときにこれらのロジット差がどれだけ速く変化できるかを捉える。
重要な革新は、極値理論の使用である。深層ネットワークには非現実的な大域リプシッツ定数を直接計算する代わりに、CLEVERは入力の周囲の球内のランダムな点で勾配をサンプリングする。次に、観測された最大勾配の大きさに極値分布（具体的には一般化極値分布）を当てはめる。推定された裾のパラメータは、最小敵対的摂動の確率的下限を導出するために使用される。
このアプローチは、正確な検証で使用される混合整数計画法やSATソルバーの必要性を回避し、CLEVERを大幅に高速化する。結果として得られるスコアは厳密な保証ではなく信頼水準を伴う近似であるが、多くの先行するヒューリスティックな境界よりも厳密であることが示されている。
応用と比較
CLEVERは、MNISTやCIFAR-10などの画像分類ベンチマークを含むさまざまな分類器のロバスト性をベンチマークするために使用されてきた。評価では、攻撃ベースの指標（高速勾配符号法や射影勾配降下攻撃など）と比較して、モデルのロバスト性のより正確なランキングを提供した。例えば、CLEVERスコアが高いモデルは、誤分類を引き起こすためにより大きな摂動を必要とし、より優れた敵対的防御と相関することが示された。
ReluplexやPlanetなどの形式的検証ツールと比較して、CLEVERは精度は低いが、数百万のパラメータを持つネットワークにスケールする。ReLU活性化を持つフィードフォワードネットワークや畳み込みアーキテクチャに適用されてきたが、計算コストのため、トランスフォーマーベースのモデルへの拡張はあまり一般的ではない。
拡張と変種
いくつかの拡張が提案されている。Multi-CLEVER（2019年）は、最悪ケースだけでなくランダム摂動下での検証済みエラー境界を計算するように方法を拡張する。Robust-CLEVERは、スコアを敵対的トレーニングに正則化子として統合し、ネットワークをより平坦な決定境界へ導く。他の研究では、\ell_2、\ell_\infty、および\ell_1摂動ノルムを処理するための調整されたリプシッツ推定技術を提供することで、CLEVERを適応させている。
TensorFlowおよびPyTorchツールボックスを含むソフトウェア実装により、研究者はカスタムモデルでCLEVERスコアを計算できる。この方法は、スコアが平滑化された分類器で評価されるランダム化平滑化防御のロバスト性を研究するためにも使用されている。
制限事項
CLEVERの極値理論への依存は、統計的不確実性をもたらす。下限は指定された確率（例：95%）でのみ有効であり、安全性が重要なアプリケーションには受け入れられない場合がある。高次元入力の場合、必要な勾配サンプル数が増加し、計算が増大する。この方法は、損失関数が局所的にリプシッツ連続であることも前提としており、これはほとんどの標準的なネットワークで成り立つが、ステップ関数などの非滑らかな活性化によって違反される可能性がある。
実際には、CLEVERはロバスト性を過小評価することがある。境界よりも小さい敵対的摂動が、高度な攻撃によって依然として見つかる可能性がある。このギャップは、スペクトル正規化やバリア関数によるリプシッツ定数に基づくものなど、より厳密な証明書に関するさらなる研究を動機付けた。
遺産
CLEVERスコアは、機械学習におけるロバスト性検証の成長分野に貢献した。これは、CROWNやSparseGROWNなどの認定防御の傘下での局所ロバスト性境界に関するその後の研究に影響を与えた。新しい検証方法はより厳密な境界を提供するが、CLEVERは実証研究のための有用なベースラインとして残り、多くの敵対的ロバスト性に関する論文で引用されている。
関連項目
- 敵対的例
- 形式的検証
- リプシッツ連続性
- ニューラルネットワークのロバスト性