敵対的サンプルとは

敵対的サンプルとは、AIを間違わせるよう細工された入力データです。人が気づきにくい小さな変更でもAIの判定が変わる仕組みと、NISTの報告書が整理した防御の方向とその限界を、中小企業の運用の目線から、やさしく丁寧に説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

敵対的サンプル(Adversarial example)とは、AIを間違わせるよう細工された入力データです。NIST(米国国立標準技術研究所)の報告書は、攻撃者がAIの判定を自分の望む結果に変えようとする回避攻撃を取り上げ、そのために作る入力を敵対的サンプルと呼んでいます。

敵対的サンプルはどんな仕組み?

検品機械が「合格品」と判定する見本の部品に、人の目には分からない程度の細工を加えたところ、機械だけが「不合格」と読み違える場面を思い浮かべてください。NISTの報告書によると、回避攻撃の目標は、分類の結果を攻撃者が選んだ別の分類に変えられる入力を作ることです。変更はわずかな場合が多いと説明されています。画像の分類では、人間には元の画像のままに見えるのに、AIだけが別の分類と判定することがあります。

防御については、NISTの報告書が三つの方向を有望として挙げています。学習のときに、細工した入力へ正しい答えを付けて学習に加える「敵対的学習」、判定にノイズを加えても結果が変わらないことを確かめる方法、数学的に出力を検証する方法です。一方で、これらにも限界があり、たとえば通常の入力に対する正確さが下がる場合があるとも述べています。AIの画像判定や自動の審査を自社のサービスに組み込んでいる場合、公開されている入口の状態は無料URLチェックで外から確かめられます。

なぜ敵対的サンプルが大事なのですか?

AIが出した判定をそのまま最終判断にすると、判定が一度ずれたときに、気づく人がいなくなります。画像による検品、問い合わせの自動振り分け、不正の検知など、AIの判定が業務の結果に直結する場面ほど、その影響は大きくなります。

NISTの報告書は、敵対的サンプルへの対策を、研究者の間でも難しい課題だと位置づけ、強い攻撃を想定して評価するよう求めています。中小企業では、AIの判定に人が目を通す段階を残し、判定が急に偏ったときに気づける記録を取っておくところから始めるのが現実的です。

関連する言葉

次の一手

自社で使っているAIが、どの業務の判定に関わっているかを書き出し、人が確認する段階があるかを見直してください。公開サイトの状態は無料URLチェックで確認でき、AIの導入や運用の悩みは無料相談でも受け付けています。

よくある質問

敵対的サンプルは、人の目で見分けられますか?

NISTの報告書は、画像の分類を例に、元の画像への変更が小さいと、人は気づかないのにAIだけが別の分類と判定する場合があると説明しています。ただしこれは画像を例にした説明で、すべての入力や手法に当てはまるわけではありません。

対策をすれば、敵対的サンプルは防げますか?

NISTの報告書は、これまでの防御策が弱い攻撃を想定した評価のまま公表され、後でより強い攻撃に破られてきたと述べています。防げると言い切れる方法は示されていないため、AIの判定を人が確認できる段階を残す設計をお勧めします。

よくある質問

敵対的サンプルは、人の目で見分けられますか?

NISTの報告書は、画像の分類を例に、元の画像への変更が小さいと、人は気づかないのにAIだけが別の分類と判定する場合があると説明しています。ただしこれは画像を例にした説明で、すべての入力や手法に当てはまるわけではありません。

対策をすれば、敵対的サンプルは防げますか?

NISTの報告書は、これまでの防御策が弱い攻撃を想定した評価のまま公表され、後でより強い攻撃に破られてきたと述べています。防げると言い切れる方法は示されていないため、AIの判定を人が確認できる段階を残す設計をお勧めします。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。