データポイズニングとは

データポイズニングとは、AIが学ぶ・参照するデータに毒を混ぜる攻撃です。OWASPとNISTの資料をもとに、起きる段階と、外部データの出どころを確かめるなど、運営者が見直したい点を、初めての方にも分かる言葉で、順を追って説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

データポイズニングとは、AIが学ぶ・参照するデータに毒を混ぜる攻撃です。OWASPは、LLM(文章で会話するAI)を作ったり調整したりするデータを不正に改変して、隠れた弱点や裏口、偏った振る舞いを仕込むことと説明しています。

データポイズニングはどんな仕組み?

レシピ本の一部のページに、別の材料を書き足されたら、その本どおりに作った料理の味が変わってしまいます。AIも、学ぶ・参照する元の資料が汚れていれば、出てくる答えが歪みます。

OWASPは、起こりうる段階を三つ挙げています。広く一般のデータで学ぶ事前学習、用途に合わせて追加で学ぶファインチューニング、そして文章を数値の列に変える埋め込みです。外部の確かめていないデータが元になる場合に、危険が特に高まるとされています。

特定の合図が現れたときだけ、おかしな動きをする裏口が仕込まれる場合もあります。普段は普通に動くため、テストで見つけにくい点が厄介です。NISTは、学習用のデータが改ざんされて、AIの出力や動作が操られる攻撃を、AIへのサイバー上の危険の一つに挙げています。

RAGの元データが汚される場合は、RAGの用語ページで扱っています。事典の整理はデータポイズニングの脆弱性ページにあります。

なぜデータポイズニングが大事なのですか?

AIの回答は、元の資料の質に左右されます。自社の資料や、外から取り込んだ文書を使うAIを組み込むなら、その資料を誰が変えられるかを、把握しておく必要があります。

OWASPが示す対策には、データの出どころと変更の履歴を追うこと、データの提供元を慎重に見極めること、AIを確かめていないデータから隔離することがあります。データのバージョンを管理して、無断の変更を見つける方法も添えられています。

小さな会社でも、AIに読ませる資料の置き場所と、書き込める人を限る見直しは、すぐに始められます。外から見える状態は無料URLチェックで確かめられます。

関連する言葉

  • RAG:社内資料を検索して、AIの回答に使う仕組みです。
  • サプライチェーン攻撃:取引先や部品の弱点を足がかりにする攻撃です。

次の一手

AIが参照する資料の置き場所を決め、書き込める人を最小限にしてください。弱点の整理はデータポイズニングの脆弱性ページに、自社サイトの外から見える状態は無料URLチェックにあります。点検の進め方は無料相談で相談できます。

よくある質問

データポイズニングは、どの段階で起きますか?

OWASPは、事前学習、ファインチューニング(用途に合わせた追加の学習)、埋め込み(文章を数値の列に変える処理)の各段階で起こりうると説明しています。外部の確かめていないデータを使う場合に、危険が高まります。

自社でAIを作っていなくても、関係がありますか?

関係する場合があります。OWASPは、RAG(社内資料を検索して回答に使う仕組み)の知識の元データが、内部の人、指示文、意図的に紛れ込ませたデータ、確かめていない提供元から汚される危険を挙げています。使う資料の出どころの確認が要ります。

よくある質問

データポイズニングは、どの段階で起きますか?

OWASPは、事前学習、ファインチューニング(用途に合わせた追加の学習)、埋め込み(文章を数値の列に変える処理)の各段階で起こりうると説明しています。外部の確かめていないデータを使う場合に、危険が高まります。

自社でAIを作っていなくても、関係がありますか?

関係する場合があります。OWASPは、RAG(社内資料を検索して回答に使う仕組み)の知識の元データが、内部の人、指示文、意図的に紛れ込ませたデータ、確かめていない提供元から汚される危険を挙げています。使う資料の出どころの確認が要ります。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。