モデル堅牢性は、機械学習システムの特性であり、摂動、分布シフト、または敵対的入力に直面した際に一貫した性能を維持する能力を表す。コンピュータサイエンスにおいて、堅牢性は広義には、実行中のエラーや誤った入力に対処するシステムの能力を指す。機械学習モデルにとって、これはテストエラーがトレーニングエラーと一貫していること、またはデータセットにノイズが追加された後も性能が安定していることを意味する。堅牢性は、AIシステムの展開における中心的な関心事となっており、特にモデルが自動運転、医療、金融などの安全重視の領域でますます使用されるようになっている。
機械学習における堅牢性の概念は、堅牢なプログラミングやフォールトトレラントなシステム設計の広範な原則に由来する。従来のソフトウェア堅牢性は、予期しない入力を優雅に処理することを強調し、しばしばファジングテストやフォールトインジェクションなどの技術を通じて実現される。機械学習では、堅牢性はこの考え方をモデルの統計的かつ確率的な性質に拡張し、入力は離散値だけでなく、画像、音声、テキストなどの高次元データである。堅牢なモデルは、トレーニング分布で良好に機能するだけでなく、自然な変動や意図的な攻撃によって導入されたものを含む、目に見えない変動にも一般化する必要がある。
歴史的背景
モデル堅牢性の研究は2010年代に重要性を増し、ニューラルネットワークが敵対的例に対して驚くほど脆弱であるという発見によって推進された。敵対的例とは、入力に対する小さく、しばしば知覚できない摂動であり、劇的な誤分類を引き起こす。この現象は、2013年にクリスチャン・セゲディらによって初めて体系的に文書化され、後にイアン・グッドフェローによる敵対的攻撃と防御に関する研究で広く知られるようになった。最先端のモデルが画像にわずかなノイズを加えるだけで騙される可能性があるという認識は、深層学習システムの信頼性に関する根本的な疑問を提起した。
初期の研究は、ニューラルネットワークがなぜこの脆弱性を示すのかを理解することに焦点を当てた。一つの説明は、モデルが入力空間の小さな変化に非常に敏感な決定境界を学習すること、特に高次元設定においてである。もう一つは、トレーニング目的である平均損失の最小化が、最悪ケースの摂動に対する堅牢性を明示的に促進しないことである。これにより、敵対的トレーニングが開発され、モデルは敵対的例でトレーニングされて堅牢性を向上させる。この分野はその後、ランダムノイズ、分布シフト、ドメインシフトへの堅牢性を含む、幅広い堅牢性の概念に拡大している。
摂動の種類
モデル堅牢性は、通常、いくつかの種類の摂動に対して評価される。最も研究されているのは敵対的摂動であり、これはモデルを騙すために意図的に作成される。これらは、高速勾配符号法（FGSM）や射影勾配降下法（PGD）などの勾配ベースの方法、またはカールリーニ・ワグナー攻撃などの最適化ベースのアプローチを使用して生成できる。敵対的堅牢性は、モデルがそのような攻撃にどれだけ耐えるかを測定し、しばしば敵対的例での精度によって定量化される。
ガウスノイズなどのランダム摂動も、もう一つの一般的なテストである。ランダムノイズに対して堅牢なモデルは、センサーエラーやデータの自然な変動に対して敏感ではない。分布シフトとは、トレーニングと展開の間の基礎となるデータ分布の変化を指し、例えば昼間の画像でトレーニングされたモデルが夜間の画像でテストされる場合などである。分布シフトへの堅牢性は、モデルがトレーニングセットとは異なるデータに遭遇することが多いため、実世界の展開にとって重要である。最後に、堅牢性は、コンピュータビジョンタスクで一般的な回転、平行移動、スケーリングなどの変換に対する不変性も指すことができる。
評価方法
モデル堅牢性の評価には、慎重な実験設計が必要である。一般的なアプローチは、元のデータの摂動バージョンを含む保持されたテストセットで性能を測定することである。敵対的堅牢性については、研究者はしばしば攻撃アルゴリズムを使用して最悪ケースの摂動を生成し、これらの例でのモデルの精度を測定する。しかし、攻撃の選択は測定された堅牢性に大きく影響し、攻撃者と防御者の間のいたちごっこにつながる。
ベンチマークは堅牢性評価を標準化するために開発されている。例えば、ImageNet-CおよびImageNet-Aデータセットは、それぞれ一般的な劣化と自然な敵対的例に対する堅牢性をテストする。RobustBenchリーダーボードは、モデルと防御間の敵対的堅牢性を比較するための標準化されたプラットフォームを提供する。精度に加えて、キャリブレーションエラーや予測不確実性などの他の指標も堅牢性を評価するために使用される。堅牢なモデルは正確であるだけでなく、適切にキャリブレーションされている必要があり、つまりその信頼スコアが真の正しさの可能性を反映していることを意味する。
堅牢性を向上させる技術
モデル堅牢性を向上させるために、いくつかの技術が開発されている。グッドフェローらによって最初に提案された敵対的トレーニングは、トレーニング中に生成された敵対的例でトレーニングデータを拡張することを含む。このアプローチは、拡張に使用された特定の攻撃に対する堅牢性を向上させることが示されているが、しばしばクリーンデータでの精度を犠牲にする。TRADESやPGDを用いた敵対的トレーニングなどのより高度な変種は、堅牢性と精度のバランスを取ることを目的としている。
データ拡張は、もう一つの広く使用されている技術である。トレーニング画像にランダムクロップ、フリップ、カラージッターなどの変換を適用することで、モデルはこれらの変動に対して不変になることを学習する。拡張には、ノイズやぼかしの追加などの合成摂動も含めることができる。重み減衰、ドロップアウト、バッチ正規化などの正則化技術は、過学習を防ぎ、間接的に堅牢性を向上させるのに役立つ。最近では、トレーニング例の凸結合を作成するmixupやCutMixなどの方法が、特定の種類の摂動に対する堅牢性を向上させることが示されている。
アーキテクチャの選択も堅牢性に影響を与える。例えば、スキップ接続を持つ残差ネットワークは、通常の深いネットワークよりも一般的に堅牢である。トランスフォーマーベースのモデル、例えば大規模言語モデルは、特定の種類の入力摂動に対して顕著な堅牢性を示しているが、敵対的攻撃に対しては依然として脆弱である。複数のモデルを組み合わせるアンサンブル方法は、個々のモデルのエラーを平均化することで堅牢性を向上させることができる。
課題とトレードオフ
モデル堅牢性の向上には課題がないわけではない。最も重要なものの一つは、堅牢性と精度のトレードオフである。敵対的摂動に対してより堅牢なモデルは、クリーンデータでの精度が低くなることが多い。このトレードオフは広く研究されており、一部の研究者はそれが根本的であると主張し、他の研究者はより良いトレーニング方法で克服できると信じている。もう一つの課題は、堅牢なトレーニングの計算コストであり、敵対的例を生成する必要があるため、標準的なトレーニングよりも数倍高価になることがある。
堅牢性はまた、脅威モデル、つまり考慮される摂動のセットに依存する。ある種類の攻撃に対して堅牢なモデルは、別の攻撃に対して脆弱である可能性がある。これにより、適応的攻撃の開発が進み、攻撃者が防御を認識し、それを回避するために特別に設計された攻撃を考案する。適応的攻撃の下での堅牢性評価はゴールドスタンダードと見なされているが、計算集約的であり専門知識を必要とする。
さらに、分布シフトへの堅牢性は、可能なシフトの空間が広大であるため、本質的に困難である。一般的なコンピュータサイエンスの文献で指摘されているように、可能な入力と入力の組み合わせの膨大な量のために、すべての可能な失敗点を包含するシステムを構築することは困難である。機械学習では、データの高次元性によってこれが悪化する。研究者はしばしば、ドメイン適応やドメイン一般化などの一般化技術に依存して、目に見えないシフトを処理するが、これらの方法には限界がある。
応用と重要性
モデル堅牢性は、多くの実世界のアプリケーションで重要である。自動運転では、モデルはさまざまな天候条件、照明、道路シナリオの下で確実に機能する必要がある。堅牢なモデルは、自動運転車が予期しない状況を安全にナビゲートできることを保証する。医療では、診断に使用されるモデルは、医療画像機器や患者集団の変動に対して堅牢である必要がある。金融では、不正検出のためのモデルは、進化する攻撃パターンに適応する必要がある。
堅牢性はまた、AIシステムの信頼性にとって重要である。モデルが本番環境で予期せず失敗すると、ユーザーの信頼を損ない、コストのかかるエラーにつながる可能性がある。欧州連合のAI法などの規制枠組みは、高リスクAIシステムの重要な基準として堅牢性を要求し始めている。AIが社会にますます統合されるにつれて、堅牢なモデルへの需要は増加するだろう。
将来の方向性
モデル堅牢性に関する研究は進化し続けている。有望な方向性の一つは、証明可能な堅牢性の開発であり、モデルが特定の範囲内の摂動に対して堅牢であることが保証される。これは、ランダム化スムージングや検証可能なニューラルネットワークなどの技術を通じて達成される。もう一つの方向性は、プロンプトインジェクションや敵対的テキストなどの独自の脆弱性を持つ大規模言語モデルにおける堅牢性の研究である。研究者はまた、堅牢性と解釈可能性の間の関連性を探求しており、より解釈可能なモデルがより堅牢である可能性があるという考えがある。
継続学習の文脈での分布シフトへの堅牢性への関心も高まっており、モデルは古い知識を忘れずに新しいデータに適応する必要がある。最後に、この分野は、敵対的摂動だけでなく、公平性やバイアスなどの社会的および倫理的考慮事項も包含する、より包括的な堅牢性の概念に向かって動いている。ソース資料で指摘されているように、堅牢性は一般的な方法で達成するのが難しく、これは機械学習コミュニティにとって依然として未解決の課題である。
関連項目
- フォールトトレランス
- 防御的プログラミング
- 非機能要件