執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
データポイズニングとは、AIが学ぶ・参照するデータに毒を混ぜる攻撃です。OWASPは、LLM(文章で会話するAI)を作ったり調整したりするデータを不正に改変して、隠れた弱点や裏口、偏った振る舞いを仕込むことと説明しています。
データポイズニングはどんな仕組み?
レシピ本の一部のページに、別の材料を書き足されたら、その本どおりに作った料理の味が変わってしまいます。AIも、学ぶ・参照する元の資料が汚れていれば、出てくる答えが歪みます。
OWASPは、起こりうる段階を三つ挙げています。広く一般のデータで学ぶ事前学習、用途に合わせて追加で学ぶファインチューニング、そして文章を数値の列に変える埋め込みです。外部の確かめていないデータが元になる場合に、危険が特に高まるとされています。
特定の合図が現れたときだけ、おかしな動きをする裏口が仕込まれる場合もあります。普段は普通に動くため、テストで見つけにくい点が厄介です。NISTは、学習用のデータが改ざんされて、AIの出力や動作が操られる攻撃を、AIへのサイバー上の危険の一つに挙げています。
RAGの元データが汚される場合は、RAGの用語ページで扱っています。事典の整理はデータポイズニングの脆弱性ページにあります。
なぜデータポイズニングが大事なのですか?
AIの回答は、元の資料の質に左右されます。自社の資料や、外から取り込んだ文書を使うAIを組み込むなら、その資料を誰が変えられるかを、把握しておく必要があります。
OWASPが示す対策には、データの出どころと変更の履歴を追うこと、データの提供元を慎重に見極めること、AIを確かめていないデータから隔離することがあります。データのバージョンを管理して、無断の変更を見つける方法も添えられています。
小さな会社でも、AIに読ませる資料の置き場所と、書き込める人を限る見直しは、すぐに始められます。外から見える状態は無料URLチェックで確かめられます。
関連する言葉
- RAG:社内資料を検索して、AIの回答に使う仕組みです。
- サプライチェーン攻撃:取引先や部品の弱点を足がかりにする攻撃です。
次の一手
AIが参照する資料の置き場所を決め、書き込める人を最小限にしてください。弱点の整理はデータポイズニングの脆弱性ページに、自社サイトの外から見える状態は無料URLチェックにあります。点検の進め方は無料相談で相談できます。
よくある質問
データポイズニングは、どの段階で起きますか?
OWASPは、事前学習、ファインチューニング(用途に合わせた追加の学習)、埋め込み(文章を数値の列に変える処理)の各段階で起こりうると説明しています。外部の確かめていないデータを使う場合に、危険が高まります。
自社でAIを作っていなくても、関係がありますか?
関係する場合があります。OWASPは、RAG(社内資料を検索して回答に使う仕組み)の知識の元データが、内部の人、指示文、意図的に紛れ込ませたデータ、確かめていない提供元から汚される危険を挙げています。使う資料の出どころの確認が要ります。
よくある質問
データポイズニングは、どの段階で起きますか?
OWASPは、事前学習、ファインチューニング(用途に合わせた追加の学習)、埋め込み(文章を数値の列に変える処理)の各段階で起こりうると説明しています。外部の確かめていないデータを使う場合に、危険が高まります。
自社でAIを作っていなくても、関係がありますか?
関係する場合があります。OWASPは、RAG(社内資料を検索して回答に使う仕組み)の知識の元データが、内部の人、指示文、意図的に紛れ込ませたデータ、確かめていない提供元から汚される危険を挙げています。使う資料の出どころの確認が要ります。