敵対的例（adversarial examples）とは、機械学習モデルに誤りを引き起こさせるよう意図的に設計された入力のことである。これらの入力は通常、画像へのノイズ付加やテキスト内の数語の変更など、合法データに小さく、しばしば知覚不能な摂動を加えることで生成される。敵対的例の存在は、多くのMachine learningシステムが抱える根本的な脆弱性を浮き彫りにする。これらのシステムは、訓練データとテストデータが同一の統計的分布から得られることを前提とすることが多い。しかし実際には、ユーザーや攻撃者がこの前提を破る捏造データを供給する可能性があり、セキュリティ、自動運転、生体認証といった重要度の高いアプリケーションにおいて誤った予測を引き起こす。
これらの攻撃とそれに対する防御の研究は、敵対的機械学習（adversarial machine learning）の分野に属する。この分野では、モデルがどのように欺かれ得るか、またモデルをより堅牢にする方法を考察する。敵対的例は、他の種類のモデル障害とは異なり、ランダムなノイズや汎化性能の低さから生じるのではなく、モデルの決定境界における特定の弱点を悪用するために意図的に最適化されている。
歴史
敵対的例の概念は、スパムフィルタリングに関する初期の研究から生まれた。2004年1月のMITスパム会議において、ジョン・グラハム＝カミングは、機械学習スパムフィルタを利用して別の同種フィルタを打ち負かす方法を実演した。これは、スパムメールに追加すべき単語を自動学習し、スパムではないと分類させるものである。同年、ニレシュ・ダルビらは、スパムフィルタで使用される線形分類器が、スパマーがメールに良質な単語を挿入する単純な回避攻撃によって打ち負かされ得ることを指摘した。2007年頃には、一部のスパマーが画像スパム内の単語にランダムノイズを付加し、OCRベースのフィルタを欺いた。
2006年、マルコ・バレーノらは「Can Machine Learning Be Secure?」を発表し、攻撃の広範な分類法を概説した。2013年頃まで、多くの研究者はサポートベクターマシンやニューラルネットワークなどの非線形分類器が敵対者に対して堅牢であることを期待していた。この期待は、バッティスタ・ビッジョらが2012年から2013年にかけて、これらのモデルに対する初の勾配ベース攻撃を実証したことで打ち砕かれた。2014年、クリスチャン・セゲディらは、ディープニューラルネットワークが敵対者によって欺かれ得ることを示し、勾配ベースの手法を用いて敵対的摂動を作り出した。この研究は、攻撃と防御の両方に関する研究の急増を引き起こした。
さらなる研究により、敵対的攻撃は制御されていない環境では生成が困難であり、小さな回転や照明の変化が敵対的効果を破壊し得ることが明らかになった。Google Brainのニック・フロストらの研究者は、自動運転車にとって信頼性の高い敵対的例を作成するよりも、物理的に一時停止標識を撤去する方が容易であることが多いと指摘した。フロストはまた、コミュニティが、あるデータ分布で訓練されたモデルが異なる分布でも良好に機能するという誤った前提を抱いていると論じ、人間の知覚を模倣する新たなアプローチの必要性を示唆した。この分野は依然として学界に根ざしているが、Google、Microsoft、IBMなどの大手テクノロジー企業は、モデルの堅牢性を評価し攻撃リスクを最小化するための文書やオープンソースコードベースの整備を開始している。
攻撃の種類
敵対的機械学習には、いくつかの一般的な攻撃カテゴリが含まれる。回避攻撃（evasion attacks）はテスト時に発生し、攻撃者が入力を改変して誤分類を引き起こす。例えば、一時停止標識の画像にノイズを加えて制限速度標識として認識させるなどである。データポイズニング攻撃（data poisoning attacks）は訓練中に発生し、攻撃者が訓練セットに悪意のあるデータを注入してモデルの挙動を破壊する。ビザンチン攻撃（Byzantine attacks）は分散訓練システムを標的とし、侵害されたノードが誤った更新を送信する。モデル抽出攻撃（model extraction attacks）は、モデルに問い合わせて代替モデルを訓練することで、モデルの機能を盗もうとするものである。
マルウェア検出の文脈では、学習ベースの検出器を回避しながら悪意のある機能を保持するバイナリを自動的に作成する、敵対的マルウェア生成の手法が研究者らによって提案されている。GAMMAのような最適化ベースの攻撃は、遺伝的アルゴリズムを用いて、パディングや新しいPEセクションなどの良性コンテンツをWindows実行ファイルに注入する。このアプローチは、回避を、誤分類の成功とペイロードサイズのバランスを取る制約付き最適化問題として捉え、商用アンチウイルス製品への転移可能性を示している。補完的な研究では、敵対的生成ネットワーク（GAN）を用いて、マルウェアが良性と分類されるようにする特徴空間の摂動を学習する。例えばMal-LSGANは、標準的なGAN損失を最小二乗目的関数に置き換え、訓練の安定性を向上させ、複数の検出器にわたって真陽性率を低減する。
実世界の例
敵対的例は多くの領域で実証されている。研究者らは、わずか1ピクセルの変更で深層学習アルゴリズムを欺けることを示した。また、低コストで市販されている3Dプリント技術のみを用いて、Googleの物体検出AIがどの視点からでもライフルと分類するように設計されたテクスチャを持つおもちゃのカメを3Dプリントした例もある。機械によって改変された犬の画像が、コンピュータと人間の両方にとって猫のように見えることが示された。2019年の研究では、人間が敵対的画像を機械がどのように分類するかを推測できることが報告されている。
自動運転の分野では、車両が一時停止標識を合流または制限速度標識として分類するように標識の外観を摂動させる方法が研究者らによって発見された。McAfeeは、テスラの旧Mobileyeシステムを攻撃し、制限速度標識に2インチの黒いテープを貼るだけで、車を制限速度を時速50マイル超過で走行させた。顔認識システムやナンバープレート読み取り装置を欺くために設計された眼鏡や衣服上の敵対的パターンは、ステルスストリートウェアというニッチな産業を生み出した。
敵対的オーディオ入力は、無害に見える音声にインテリジェントアシスタントへのコマンドを紛れ込ませることができる。生体認証では、偽の特徴が正当なユーザーを偽装したり、テンプレートギャラリーを侵害したりする可能性がある。新興の攻撃は、監視や自動運転車に使用される人間行動認識システムにも有効であり、攻撃者は認識システム自体へのアクセスを必要とせずに、人間の特徴表現にノイズを導入してシステムを欺くことが多い。
防御と緩和策
敵対的例に対する防御には、敵対的訓練（モデルを敵対的例で訓練して堅牢性を向上させる）、入力前処理（ノイズ除去や特徴圧縮など）、および不審な入力を標識する検出方法が含まれる。しかし、普遍的な防御策は存在せず、攻撃者は常に新たな手法を開発し続けている。2023年にシカゴ大学の研究者らがリリースしたデータポイズニングフィルタ「Nightshade」は、視覚芸術家が、同意なくデータを収集するテキストから画像へのモデルのデータセットを破壊することを可能にし、ポイズニングが防御的にどのように使用され得るかを示している。