モデル窃取は、デプロイされた機械学習システムに対する攻撃の一種であり、攻撃者が慎重に設計されたクエリを送信し、その出力を観察することで、プロプライエタリなモデルの内部パラメータ、アーキテクチャ、または機能的挙動を回復しようとするものである。目的は、元のモデルを密接に模倣する代替モデルを作成し、それによってモデル所有者の知的財産保護と計算上の投資を回避することにある。この脅威は、商用の人工知能サービスの普及、特にOpenAI、Anthropic、Google DeepMindなどの企業が提供する大規模言語モデルAPIの普及に伴い、その重要性を増している。これらのサービスでは、アクセスは有料インターフェースの背後に制限されているが、基盤となる重みは秘密のままである。
この攻撃は、モデルの入出力挙動がその内部の決定境界に関する豊富な情報源であるという事実を利用する。十分な数のラベル付き例（ラベルはモデルの予測である）を収集することで、攻撃者は元のモデルを高い忠実度で近似する代理モデルを訓練できる。このアプローチの実現可能性は、モデルの複雑さ、利用可能なクエリ予算、およびAPIが公開する出力詳細の程度に依存する。初期の実証は単純な分類器に焦点を当てていたが、この技術は深層ニューラルネットワークや生成モデルに拡張されており、適切な保護なしにモデルアクセスを販売することの経済的実行可能性に関する懸念を引き起こしている。
歴史的背景
モデル窃取の概念は、2010年代半ばに機械学習のサービスとしての商用化とともに登場した。2016年、トロント大学とコーネル大学の研究者らは、ロジスティック回帰と決定木モデルが予測クエリのみを使用して高精度で抽出できることを示す基礎的な研究を発表した。Florian Tramèrらが主導したこの研究は、隠されたアーキテクチャを持つモデルでも、慎重なクエリ選択を通じてリバースエンジニアリングできることを実証した。この攻撃は、ソフトウェア海賊版に類似するが学習システムに適用される知的財産の脅威として位置づけられた。
その後の研究は範囲を拡大した。2017年、カーネギーメロン大学のチームは、画像データセットで訓練されたニューラルネットワーク分類器が数万のクエリ予算で窃取できることを示した。2019年までに、研究はトランスフォーマーベースの言語モデルに技術を拡張し、高次元の出力空間が抽出をより困難にするが依然として実行可能であることを明らかにした。2020年代初頭のAPIベースの生成AIサービスの台頭は、これらのモデルが数十億ドルの訓練コストを表し、数百万のユーザーによってリモートでアクセスされるため、関心をさらに高めた。
攻撃ベクトル
モデル窃取攻撃は、モデルのインターフェースの異なる側面をそれぞれ利用するいくつかの異なるベクトルを通じて動作する。最も直接的なアプローチは機能的抽出であり、攻撃者は多様な入力セットでモデルにクエリを送信し、出力を記録して、このデータセットで代理モデルを訓練する。この方法の成功は、クエリセットの多様性とカバレッジに依存する。攻撃者が入力空間を十分にサンプリングできれば、代理モデルは元の決定境界を近似できる。
2番目のベクトルはパラメータ抽出であり、モデルの重みの正確な数値を回復することを目的とする。これは機能的抽出よりもはるかに困難であり、通常、モデルのアーキテクチャや活性化関数などの追加情報を必要とする。場合によっては、タイミングやメモリ使用パターンを利用するサイドチャネル攻撃が、アーキテクチャの詳細を推測するために使用されてきた。例えば、2020年の研究では、ニューラルネットワークの深さと幅がAPI応答の遅延から推定でき、より標的を絞ったパラメータ回復が可能になることが実証された。
3番目のベクトルは、多くのAPIが返す信頼スコアを利用する。モデルがクラス上の確率分布を出力する場合、攻撃者は単一のハードラベルよりも豊富な情報を得る。これにより、モデルの内部の確信をエンコードするソフトラベルを使用して代理モデルを訓練できるため、より効率的な抽出が可能になる。一部のAPIは、上位k個の予測のみを返すか、出力にノイズを追加することでこれを軽減しているが、これらの防御は常に効果的であるとは限らない。
数学的基礎
モデル窃取の理論的基盤は、能動学習とクエリ複雑性の概念にある。攻撃者は、所与の忠実度レベルを達成するために必要なクエリ数を最小化しようとする。線形モデルの場合、クエリ複雑性はパラメータ数に比例する。各クエリが重みベクトルに1つの線形制約を提供するためである。深層ネットワークの場合、関係はより複雑であるが、研究者らは機能的抽出のサンプル複雑性がモデルのVC次元またはRademacher複雑性にスケールすることを示している。
2016年の研究からの重要な結果は、ニューラルネットワークのReLUユニットなどの区分的線形活性化関数を持つモデルに対して、方程式解法攻撃が正確なパラメータを回復できることである。決定境界上にある入力を巧妙に作成することで、攻撃者は重みを制約する線形方程式を導出できる。このアプローチは、入力の正確な制御と連続出力へのアクセスを必要とするが、これは予測を離散化する商用APIではしばしば利用できない。
より最近の理論的研究は、抽出の情報理論的限界を検討している。N個のパラメータを持つモデルの場合、攻撃者は関数を正確に回復するために少なくともO(N)個のクエリを必要とするが、機能的近似にははるかに少ないクエリで済む可能性がある。この非対称性、つまり代理モデルが訓練分布上で高い精度を達成できる一方で、分布外入力に対する元のモデルの挙動と一致しないという点は、防御者にとって中心的な課題である。
防御戦略
防御者は、検出、レート制限、出力摂動に大別されるさまざまな対策を開発してきた。検出方法は、単一のIPアドレスからの繰り返しクエリや決定境界を探るクエリなど、悪意のあるクエリパターンを識別することを目的とする。レート制限は、ユーザーが時間枠内に行えるクエリ数を制限し、抽出のコストを増加させる。出力摂動は予測にノイズを追加し、代理モデルの品質を低下させるが、正当なユーザーにとっての有用性も低下させる。
より洗練された防御はウォーターマーキングであり、モデルは出力に隠れたパターンを埋め込むように訓練され、所有権を証明するために使用できる。攻撃者がモデルを窃取してデプロイした場合、ウォーターマークは代理モデルの挙動で検出できる。このアプローチは深層学習モデルで探求されてきたが、攻撃者がファインチューニングや蒸留を通じてウォーターマークを除去しようとする可能性があるため、完全に確実ではない。
もう1つの防御線は差分プライバシーであり、モデルの出力に対する任意の単一クエリの影響を制限する。予測に較正されたノイズを追加することで、モデル所有者は攻撃者が訓練データやパラメータに関する正確な情報を抽出できないことを保証できる。しかし、これは精度の低下を伴い、高リスクのアプリケーションにとっては魅力が低下する。
ケーススタディと実世界のインシデント
いくつかの注目すべきインシデントが、モデル窃取の実際の脅威を浮き彫りにしている。2021年、バークレーAI研究の研究者らは、わずか10,000回のクエリを使用して商用画像分類器の機能的コピーを抽出し、テストセットで98%の一致を達成できることを実証した。この攻撃はAmazon Web Servicesでホストされたモデルを標的とし、アーキテクチャの事前知識を必要としなかった。
言語領域では、2023年の研究で、大規模言語モデルがAPI出力のみを使用して、一般的なベンチマークで同等のパフォーマンスを持つより小さな代理モデルに蒸留できることが示された。これにより、プロプライエタリなモデルへのアクセス販売の経済モデルに関する懸念が生じた。競合他社が訓練コストの一部で機能を複製できる可能性があるためである。この研究は、代理モデルが稀な入力や敵対的入力ではパフォーマンスが低いことを指摘したが、攻撃を抑止するには十分ではなかった。
注目すべき法的訴訟には、競合他社のレコメンデーションアルゴリズムを複製するためにモデル窃取を使用したとして非難されたスタートアップが関与していた。この訴訟は法廷外で和解したが、モデルの知的財産に関する明確な法的枠組みの必要性を強調した。2024年現在、主要な法域はモデル窃取に関する特定の法令を確立しておらず、企業は営業秘密保護と利用規約に依存している。
倫理的および法的影響
モデル窃取の倫理は議論の的となっている。支持者は、公開データで訓練されたモデルは排他的所有権の対象となるべきではなく、抽出は研究と競争を可能にすると主張する。批判者は、訓練に必要な膨大な計算リソース、特にAWS TrainiumやGoogle Cloudなどの専用ハードウェアでの数千のGPU時間が、保護に値する重要な投資を構成すると反論する。
法的観点から、モデル窃取は営業秘密法、著作権法、契約法と交差する。米国では、2016年の営業秘密保護法が不正流用に対する連邦レベルの訴因を提供するが、機械学習モデルへの適用は、特定のパラメータが営業秘密を構成することを証明する難しさによって複雑化している。一部の企業はモデルアーキテクチャの特許取得に頼っているが、これは普遍的に適用可能ではなく、コストがかかる可能性がある。
この議論は、AI開発における透明性を提唱するオープンソース運動によってさらに複雑化している。多くの研究者は、精査と再現性を可能にするためにモデルの重みを公開すべきであり、そうすれば窃取は無意味になると主張する。しかし、商業的圧力と誤用への懸念から、特に大規模テック企業の間でクローズドモデルの傾向が生じている。
将来の方向性
モデルがより大きく、より高性能になるにつれて、モデル窃取の脅威は進化する可能性が高い。新興分野の1つは生成モデル抽出であり、攻撃者はStable DiffusionやGPT-4などのモデルの出力分布を複製することを目指す。出力空間が高次元で連続的であるため、これはより困難であるが、最近の研究では蒸留技術が類似のサンプルを生成する代理モデルを生み出せることを示している。
もう1つの方向性は敵対的クエリ生成であり、攻撃者は最適化を使用して、クエリごとに得られる情報を最大化する入力を発見する。これにより、抽出に必要なクエリ予算を桁違いに削減できる可能性がある。防御者は、より洗練された異常検出と適応的レート制限で対応しているが、軍拡競争は続いている。
研究はまた、モデルの重みへの直接アクセスを防ぐ信頼できる実行環境などのハードウェアベースの保護の使用も探求している。しかし、これらのアプローチは大規模展開にはまだ実用的ではなく、入力出力アクセスのみを必要とする機能的抽出には対処していない。2025年現在、モデル窃取は未解決の問題であり、決定的な解決策は見えていない。
関連項目
参考文献
Tramèr, F., Zhang, F., Juels, A., Reiter, M. K., & Ristenpart, T. (2016). Stealing machine learning models via prediction APIs. USENIX Security Symposium.
Jagielski, M., Carlini, N., Berthelot, D., Kurakin, A., & Papernot, N. (2020). High accuracy and high fidelity extraction of neural networks. USENIX Security Symposium.
Orekondy, T., Schiele, B., & Fritz, M. (2019). Knockoff nets: Stealing functionality of black-box models. CVPR.