執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
モデル窃取(Model theft)とは、AIの中身を問い合わせを重ねて複製する攻撃です。NIST(米国国立標準技術研究所)の報告書は、同じ攻撃をモデル抽出と呼んでいます。AIの構造や、中身を決める数値(パラメータ)の情報を、問い合わせを送って引き出すのが狙いだと説明しています。
モデル窃取はどんな仕組み?
人気店の料理を何度も注文して味を確かめ、レシピを推測する場面にたとえられます。AIの提供者は、時間と費用をかけて作ったモデルの構造やパラメータを、秘密にしておきたいと考えます。NISTの報告書によると、攻撃者は、AIサービスへ問い合わせを重ねて得た回答から、その秘密を引き出そうとします。
NISTは、完全に同一のモデルを取り出すことは不可能だと示した研究を紹介しています。代わりに、性能が近い別のモデルを作り直せるという整理です。
対策には、問い合わせの制限、怪しい問い合わせの検出、サイドチャネル攻撃(機器から漏れる副次的な情報を使う攻撃)に強い設計が挙げられています。ただし、意欲と資源のある攻撃者には回避されうるため、慎重に使うよう述べています。AIを自社のサイトで公開しているなら、公開側の状態を無料URLチェックで外から確かめられます。
なぜモデル窃取が大事なのですか?
自社のAIをAPIなどで外部に提供している場合、複製されると、開発の費用をかけた成果が、他社の手にわたるおそれがあります。OWASPのLLM10は、制御されない大量の推論が、AIの振る舞いの複製による知的財産の窃取につながりうると説明しています。具体例には、APIを通じた抽出や、機能の複製が挙げられています。
OWASPが対策として挙げているのは、問い合わせの回数制限、アクセス制御、記録と異常の監視、透かしの付与などです。外部のAIサービスを使うだけの場合でも、問い合わせが無制限に使われる設計は、費用の面で負担になります。
関連する言葉
次の一手
自社のAIを外部に提供しているなら、利用者の認証、問い合わせの回数制限、利用の記録が整っているかを確かめてください。公開されている入口の状態は無料URLチェックで見られ、AIの公開に伴う備えは無料相談でも相談できます。
よくある質問
モデル窃取で、AIがそっくり同じものになりますか?
NISTの報告書は、モデルの正確な抽出は不可能だと示した研究を紹介しています。同じものではなく、性能が近い別のモデルを作り直せるという整理です。
問い合わせの回数を制限すれば、モデル窃取は防げますか?
NISTの報告書は、問い合わせの制限や怪しい問い合わせの検出が対策になるとしつつ、意欲と資源のある攻撃者には回避されうるため、慎重に使うよう述べています。OWASPも、回数制限を含む多数の対策を挙げています。
よくある質問
モデル窃取で、AIがそっくり同じものになりますか?
NISTの報告書は、モデルの正確な抽出は不可能だと示した研究を紹介しています。同じものではなく、性能が近い別のモデルを作り直せるという整理です。
問い合わせの回数を制限すれば、モデル窃取は防げますか?
NISTの報告書は、問い合わせの制限や怪しい問い合わせの検出が対策になるとしつつ、意欲と資源のある攻撃者には回避されうるため、慎重に使うよう述べています。OWASPも、回数制限を含む多数の対策を挙げています。