学習データ・参照データの汚染とは?仕組み・被害・対策と確認方法

学習データ・参照データの汚染(データポイズニング)とは何かを、AIが読む文書やモデルに偽の内容が入る仕組みの図、公的機関の資料、運営者が自分で確かめる方法の順に説明します。診断費用の目安と無料URLチェックの案内つきです。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

学習データ・参照データの汚染(データポイズニング)とは、AIが学ぶ文章や、答えの根拠として読む文書に偽の内容や細工を混ぜ、答えや動きを狂わせる攻撃です。影響を受けるのは、自社の文書をAIに読ませるチャットボットや、外部のモデルやデータを取り込んで業務のAIを作った会社です。まず確かめるのは、AIが読む文書を誰が追加・変更できるかと、使っているモデルやデータの出所の2点です。

OWASP(Webの安全性を研究する非営利団体)、NIST(米国の標準技術研究所)、総務省などの資料をもとに、仕組みと止め方を整理しました。攻撃に使う文字列や手順は載せません。被害の疑いがあるときは、先に緊急時の案内をご覧ください。

要注意:次に当てはまるAIの使い方は確認を

次のうち1つでも当てはまれば、確認する価値があります。AIを自社で作っていなくても、外部のAIサービスを業務に組み込んでいれば、対象になります。

  • 社内文書やFAQ、マニュアルを読み込ませて答えさせるチャットボット(RAG)を、社内や顧客向けに動かしています
  • AIが読む文書の置き場に、社員のほか、取引先や外部の人も書き込んだり、ファイルを入れたりできます
  • 利用者の評価や会話の履歴を、AIの改善や追加学習に取り込んでいます
  • Hugging Faceのような公開の場所から、学習済みモデルやデータセットを入手して使っています
  • 使っているモデルやデータの、入手元・入手日・版を記録していません
  • AIの答えを、人が確かめないまま、顧客への回答や、発注・設定変更の処理に使っています

学習データ・参照データの汚染とは?仕組みを日常の例で

料理教室を思い浮かべてください。生徒は、配られたレシピ帳を疑わずに読み、そのとおりに作ります。誰かがレシピ帳の1か所を、塩と砂糖が入れ替わるように書き換えれば、生徒は気づかないまま、そのとおりに作ってしまいます。

AIも同じです。学んだ文章や、読むように渡された文書を根拠にして、答えを組み立てます。つまり、書き込める人が、AIの答えを左右できます。

OWASPは、この問題をデータやモデルの完全性への攻撃と位置づけています。事前学習、追加学習(特定の用途に合わせる段階)、埋め込み(文書を検索用の数値に変える段階)のどこでも起きうるとの説明です。

学習データ・参照データの汚染が入る4つの入口と、出所の記録、書き込みの絞り込み、出口での確認、戻せる備えという4つの止め方を示した図

図の上段が、汚染が入る4つの入口です。下段は、入口を絞り、出口で確かめ、戻せるようにする4つの止め方で、1か所で止めるのではなく、重ねて使います。

汚染が入る4つの入口

  • 学習データ:事前学習や追加学習に使う文章に、偽の内容が混ざります。NISTは、データセットが示すURLのドメイン(サイトの住所)を第三者が取得し、中身を差し替える場合があると記します
  • 参照データ:RAG(AIが答える前に社内文書などを検索して根拠にする仕組み)の文書置き場に、偽の文書が入ります。NISTは、特定の質問に狙った答えを出させる研究を紹介し、総務省のガイドラインも、この種の細工を想定しうるとしています
  • 取り込むモデルやデータ:公開の場所から入手した学習済みモデルに、最初から細工がある場合です。NISTは、利用者が追加学習をしても細工が残りうるという研究を挙げます
  • 運用中の学習:利用者の入力や評価を、そのまま学習に回す仕組みです。NCSC(英国の国家サイバーセキュリティセンター)は、運用中のデータでモデルが変わる継続学習を、新しい入口になるとしています

起きうる被害

OWASPとNISTは、結果を大きく2つに分けます。1つは、AIの質が全体に落ちること。もう1つは、特定の言葉や状況のときだけ、狙った動きをさせること(バックドア)です。後者はふだん正常に見えるため、テストで見つけにくいとOWASPは指摘しています。

たとえば、社内FAQを読ませたチャットボットの参照文書が書き換えられると、返金条件や連絡先の誤った案内が、そのまま顧客に届きます。NISTは、コード提案のモデルが安全でないコードを意図的に勧める結果になりうるとも記します。

プロンプトインジェクションとの違い

総務省のガイドラインは、プロンプトインジェクション(AIに読ませた文章の中の指示で、動きを変えさせる攻撃)を、入力だけで実行できる脅威とします。データポイズニングは、あらかじめデータを汚染させる前提が要る脅威として分けて整理しています。ただし、汚染された文書に指示文が紛れていれば、読んだAIがそれに従うため、両方が重なります。詳しくはプロンプトインジェクションのページをご覧ください。

外から取り込んだ部品が改ざんされる構図は、Webサイトの第三者スクリプトの改ざんと同じです。NISTも、AIは従来のソフトウェアの供給網の弱点を引き継ぐと記しています。

公表された事例は、どこまで分かっているのか?

当社が原典を開いて確かめたのは、被害を受けた本人の発表、当局の資料、運営元の公式ドキュメントです。研究論文で示された攻撃は、実際の事例とは分けて書きます。

Microsoftのチャットボット Tay(2016年)

Microsoftは2016年3月25日の公式ブログで、Twitter上のチャットボット Tay が、公開から24時間以内に、協調した攻撃で欠陥を突かれたと発表しました。結果として不適切な投稿が出たため、同社は責任を認めて Tay を停止し、欠陥の修正を進めると述べています。

NISTのAI 100-2 E2025は、この件を実際のデータ汚染の最初の例として挙げ、ユーザーとのやり取りで更新される仕組みが狙われたと整理します。Microsoft自身は「データ汚染」とは書いていないため、この分類はNISTによるものです。

この事例が示すのは、利用者の入力で学習し続ける仕組みは、攻撃する側にも開かれた入口になる、という点です。自社のAIが評価や会話を学習に回しているなら、確かめる方法の3番が当てはまります。

総務省とAISIが示す、想定される脅威

総務省は2026年3月27日に、AIのセキュリティ確保のための技術的対策に係るガイドラインを公表しました。文書は、データポイズニング攻撃を、LLMが学ぶデータに細工をして不正な出力をさせる攻撃と整理します。対策には、学習データの信頼性の確認を挙げ、出所や加工の履歴で確かめることが重要な場合もあるとします。

AISI(AIセーフティ・インスティテュート)の「AIシステムに対する既知の攻撃と影響」第2版(2026年4月)は、RAGなどへの混入による知識ポイズニングも、別の類型に挙げます。ただし、学術論文で発表された攻撃を俯瞰する資料で、被害を集めたものではありません。

公開モデルの配布で、運営元が出している注意

Hugging Faceの公式ドキュメント(Pickle Scanning)は、pickle形式のモデルファイルを読み込むと、任意のコードが実行されうると説明しています。対策には、信頼できる利用者のモデルを使うことを挙げます。同社の検査は完全ではなく、安全の確認は利用者の責任だとも書きます。

これは被害の事例ではなく、運営元の注意書きです。MITREのCWE(ソフトウェアの弱点の分類)で関係するのは、安全でないデシリアライゼーションのCWE-502です。

国内の被害件数について

当社が確かめた範囲では、国内の当局が、データの汚染による被害の件数を示した統計は見当たりません(確認日 2026-11-17)。NISTは、汚染攻撃は現実に仕掛けるのが難しいとしつつ、記録された事例もあるとします。恐怖をあおる必要はありませんが、運用中に更新される仕組みと、外から取り込む部品は、確認する価値があります。

運営者が自分で確かめる方法

コードを読まなくても、台帳と設定画面で確かめられることがあります。AIに偽の文書を入れて試す確認は、自社のAIでも本番では行わないでください。誤った答えが顧客に届くおそれがあります。

1. AIが読む文書の置き場を書き出す

AIが参照している場所(社内の共有フォルダ、ナレッジツール、アップロード欄など)を、すべて書き出します。それぞれの共有設定の画面で、編集できる人の一覧と、外部のメールアドレスや、リンクを知る誰でも開ける設定が無いかを見ます。

2. モデルとデータの台帳を作る

使っているモデルと、追加学習や検索に使うデータについて、名前、入手元、入手日、版、ファイルの形式を表にします。表の空欄が、そのまま確認すべき箇所です。

3. 利用者の入力が学習に回っていないか見る

利用者の評価や会話が、AIの追加学習に使われる設定かどうかを、設定画面か提供元の説明書で確かめます。外部のサービスなら、会社のデータを学習に使うかどうかを、提供元に書面で確認してください。AI事業者ガイドライン(第1.2版)も、AI利用者に、提供者によるセキュリティ上の留意点を守るよう求めます。

4. 参照文書の履歴と、戻せる手順を確かめる

参照文書に、いつ誰が何を変えたかの履歴があるかを見ます。履歴があれば、おかしな答えが出たとき、原因の文書を特定して前の状態に戻せます。NCSCは、攻撃や誤りの出所をたどれることと、更新を元に戻せることを求めています。

汚染を防ぐには、何から手をつければよいのか?

OWASPとNISTは、汚染されたデータを大量のデータから見つけ出すのは難しいとします。NCSCも、汚染を探す技術は主に研究段階で、最後の手段にとどめるべきだとします。そのため、入口を絞り、出口で確かめ、戻せるようにする対策を重ねます。

開発者・AIを組み込む側の対策

  1. データとモデルの出所と加工の履歴を記録します。OWASPは、ML-BOM(AIの部品表)と、データの版管理(DVC)を挙げます
  2. ダウンロードしたデータは、提供元が示すハッシュ値(ファイルの指紋のようなもの)と照合します。NISTは、これをドメインの乗っ取りによる差し替えへの基本的な確認として挙げます
  3. 公開のモデルは、信頼できる提供元のものだけを使い、ファイルの形式にも気を配ります。Hugging Faceは、署名が出所を保証しても、ファイルの安全は保証しないと書いています
  4. RAGの文書は、取り込む前に出所と書き手を確認し、書き込める人を絞ります。総務省のガイドラインは、外部データに不正な指示が含まれていないかの検証と、RAG用データの権限管理を挙げます
  5. 運用中に学習する仕組みは、更新を検証して記録し、戻せるようにします。NCSCは、更新後のモデルを新しいモデルとして扱うよう求めます
  6. AIの出力を信用しすぎない作りにします。NISTは、モデルを信頼できない部品として扱う設計を勧めます。詳しくはAI出力の安全でない取り扱いのページにあります

運営者向け:運用で重ねる

  1. AI専用の文書置き場を分け、編集できる人を最小にします。共有リンクの公開範囲も見直します
  2. 外部のAIサービスを選ぶときは、会社のデータを学習に使うか、どのデータで更新されるか、問題があったときの連絡先を、提供元に確認します
  3. 顧客への回答、返金、発注、設定変更のように影響が大きい処理は、人が確認する手順を入れます。AI事業者ガイドラインも、出力の精度とリスクの程度を理解して使うよう求めます
  4. 参照文書とモデルの版を残し、前の状態に戻せるようにします。書き換えに気づいて戻す発想は、Webサイト改ざん対策と同じです
  5. おかしな答えに気づいたら、疑わしい文書を参照から外し、履歴とログを残して原因を調べます

自分でできる範囲と、専門家に頼む境目

境目は、台帳と設定画面で確かめられることと、実際の経路をたどらないと分からないことにあります。編集権限の一覧とモデルの台帳は、運営者ご自身でできます。AIに文書が入る経路が本当に絞られているか、外部の部品が信頼できるか、答えが検証されて渡っているかは、専門家が構成を見て確かめます。

当社の費用の目安は、次のとおりです。金額はすべて税別で、「〜」は最低価格を表します。

  • 無料URLチェック:0円(外から誰でも見られる情報だけを確認します。AIが読む文書やモデルの中身は見られません)
  • 生成AI・LLMアプリ診断:298,000円〜(報告書付きです)
  • 脆弱性の個別修正:1件 10,000円〜(税別、内容により見積もり)
  • 修正後の再診断:1回無料

金額が上がる要因は、診断する機能の数、AIがつながる先の数、参照するデータの種類と量です。正式なお見積もりは、無料診断のあとにお出しします。

まず現状を知りたい方は、URLだけで使える無料URLチェックをお試しください。AIの構成を診断するべきか迷うときは、無料相談で状況を聞かせてください。

cyber-shield が確認すること

当社の生成AI・LLMアプリ診断は、OWASPの10項目を観点に、構成の確認と、担当者による実際の操作で調べます。汚染については、AIが参照する文書を、誰がどの経路で追加・変更できるかを確かめます。外部のモデル、ライブラリ、拡張部品の出所と更新も見ます。

診断の前に、秘密保持契約(NDA)と診断同意書を結びます。報告書にまとめ、ご希望があれば修正まで承ります。修正後の再診断は1回無料です。

当社が行わないのは、AIの提供元が運営する基盤と、基盤モデルの学習データそのものの検査です。学習済みモデルの内部に仕掛けが無いことを、当社が証明することもできません。診断は、その時点で見つかった入口を知る作業であり、将来の安全を保証するものではありません。詳細は生成AI・LLMアプリ診断のページにあります。

学習データ・参照データの汚染のよくある質問

学習データ・参照データの汚染とは、ひとことで言うと何ですか?

AIが学ぶデータや、答えの根拠として読む文書に、偽の内容や細工を混ぜ、答えや動きを狂わせる攻撃です。OWASPは、データやモデルの完全性(内容が書き換えられていないこと)への攻撃と位置づけています。

プロンプトインジェクションとは何が違いますか?

プロンプトインジェクションは、AIに読ませた文章の指示で動きを変えさせる攻撃で、入力だけで実行できます。汚染は、あらかじめデータに細工を入れておく点が違います。総務省のガイドラインも、両者を分けて整理しています。ただし、汚染された文書に指示文が紛れると、両方が重なります。

自社でAIを作っていなくても、影響を受けますか?

受けることがあります。外部のAIサービスを使うだけでも、そのサービスがどのデータで更新されるかは、提供元の管理に委ねられます。自社の文書をAIに読ませているなら、その文書の置き場が入口になります。

汚染されたデータは、あとから見つけられますか?

完全に見つけるのは難しいとされています。NISTは、大量の学習データから汚染を見つけるのは非常に難しいと記し、OWASPは、特定の条件でだけ働く仕掛けはテストや検出が難しいとしています。そのため、出所の記録、書き込める人の絞り込み、答えの確認、元に戻せる備えを重ねます。

診断の費用はいくらですか?

生成AI・LLMアプリ診断は298,000円〜(税別)です。診断する機能の数、AIがつながる先の数、参照するデータの種類と量で変わります。正式なお見積もりは、無料診断のあとにお出しします。

次の一手:AIが読む文書とモデルの一覧を作る

今日できる最初の一歩は、自社のAIが読んでいる文書の置き場と、使っているモデルの入手元を、1枚の表に書き出すことです。誰が書き込めるか、いつ入手したかの欄が埋まらない行が、確認の優先順位になります。

表ができたら、外から見える状態を無料URLチェックで確かめてください。AIの中身まで確認したいときは、無料相談で、どこまで自社で行い、どこから任せるかを一緒に決めましょう。

よくある質問

学習データ・参照データの汚染とは、ひとことで言うと何ですか?

AIが学ぶデータや、答えの根拠として読む文書に、偽の内容や細工を混ぜ、答えや動きを狂わせる攻撃です。OWASPは、データやモデルの完全性(内容が書き換えられていないこと)への攻撃と位置づけています。

プロンプトインジェクションとは何が違いますか?

プロンプトインジェクションは、AIに読ませた文章の指示で動きを変えさせる攻撃で、入力だけで実行できます。汚染は、あらかじめデータに細工を入れておく点が違います。総務省のガイドラインも、両者を分けて整理しています。ただし、汚染された文書に指示文が紛れると、両方が重なります。

自社でAIを作っていなくても、影響を受けますか?

受けることがあります。外部のAIサービスを使うだけでも、そのサービスがどのデータで更新されるかは、提供元の管理に委ねられます。自社の文書をAIに読ませているなら、その文書の置き場が入口になります。

汚染されたデータは、あとから見つけられますか?

完全に見つけるのは難しいとされています。NISTは、大量の学習データから汚染を見つけるのは非常に難しいと記し、OWASPは、特定の条件でだけ働く仕掛けはテストや検出が難しいとしています。そのため、出所の記録、書き込める人の絞り込み、答えの確認、元に戻せる備えを重ねます。

診断の費用はいくらですか?

生成AI・LLMアプリ診断は298,000円〜(税別)です。診断する機能の数、AIがつながる先の数、参照するデータの種類と量で変わります。正式なお見積もりは、無料診断のあとにお出しします。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。