モデル反転攻撃とは

モデル反転攻撃とは、AIの回答を手がかりに、学習に使われたデータを推測する攻撃です。NISTの報告書の整理に沿って、何が推測されうるのか、差分プライバシーなどの対策とその限界を、中小企業の運用の目線から、わかりやすく説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

モデル反転攻撃(Model inversion attack)とは、AIの回答を手がかりに、学習に使われたデータを推測する攻撃です。NIST(米国国立標準技術研究所)の報告書は、機械学習の分類モデルが学んだデータのうち、各分類の代表的な例を作り直す攻撃として紹介しています。

モデル反転攻撃はどんな仕組み?

スタンプの押し跡を何枚も見比べると、元のスタンプの形がおおよそ分かる場面にたとえられます。AIの回答という押し跡から、学習に使われたデータの特徴を逆にたどる、という発想です。NISTの報告書によると、モデル反転攻撃は学習データと意味の似た画像を作れる一方、学習データそのものを直接再現することはできません。同じ報告書は、AIが学習データを記憶しやすい性質を、データの再構成が成り立つ理由の一部として挙げています。

対策としてNISTが挙げているのは差分プライバシーです。これは、特定の1件のデータが学習に含まれていたかどうかを、出力から読み取りにくくする考え方です。NISTは、再構成攻撃への備えになる一方で、プライバシーの強さとAIの正確さがトレードオフになる点も指摘しています。生成AIを使ったサービスでの情報漏えいの全体像は、LLM経由の情報漏えいのページに整理しました。

なぜモデル反転攻撃が大事なのですか?

自社の顧客データや社内文書を使ってAIを学習させる、または調整する場合、そのデータが回答の形で外へ出る経路が生まれます。学習に使うデータから、個人情報や取引先の機密を外しておけば、推測される対象そのものが減ります。

OWASPのLLM02は、利用者のデータが学習モデルに入らないよう、データの無害化(サニタイズ)を行うことを、機微な情報の開示への対策の一つに挙げています。AIを自社で作る予定がなくても、使っているAIサービスが入力を学習に使うかどうかは、契約の前に確かめておく価値があります。

関連する言葉

次の一手

AIに学習させる、または調整に使うデータの一覧を作り、個人情報や機密が混ざっていないかを確かめてください。AIサービスを使う側の見直しは、公開サイトの状態を調べる無料URLチェックや、無料相談から始められます。

よくある質問

モデル反転攻撃で、学習データがそのまま復元されますか?

NISTの報告書は、モデル反転攻撃が学習データの各分類に近い、意味の似たデータを作るものの、学習データそのものを直接再現することはできないと説明しています。ただし、別の種類のデータ再構成攻撃については、条件しだいで個人のデータを復元できると述べています。

モデル反転攻撃は、どんなAIが対象になりますか?

NISTの報告書が紹介している例は、画像などを分類する機械学習のモデルです。文章を作る生成AIについては、学習データの抽出という別の項目で整理されています。

よくある質問

モデル反転攻撃で、学習データがそのまま復元されますか?

NISTの報告書は、モデル反転攻撃が学習データの各分類に近い、意味の似たデータを作るものの、学習データそのものを直接再現することはできないと説明しています。ただし、別の種類のデータ再構成攻撃については、条件しだいで個人のデータを復元できると述べています。

モデル反転攻撃は、どんなAIが対象になりますか?

NISTの報告書が紹介している例は、画像などを分類する機械学習のモデルです。文章を作る生成AIについては、学習データの抽出という別の項目で整理されています。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。