執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
学習データの漏えい(Training data leak)とは、AIが学習した機密を答えに出してしまう問題です。NIST(米国国立標準技術研究所)の報告書は、生成AIが学習中に触れた個人を識別できる情報(PII)などが、回答として引き出される危険を、情報抽出の一つとして整理しています。
学習データの漏えいはどんな仕組み?
暗記が得意な生徒が、授業で見た名簿の一部を、そのまま口にしてしまう場面にたとえられます。AIは大量の文章から学びますが、一部を言い回しまで覚えていると、それが回答に混ざることがあります。NISTの報告書によると、文章を作るAIでは、個人情報に関する文の続きとして、メールアドレス、電話番号、所在地が出力される場合があると報告されています。
同じ報告書は、出てきた情報が当てにならない点にも触れています。情報の持ち主を取り違えるなど、回答が不正確になることがあるためです。OWASPのLLM02は、機微なデータや独自のアルゴリズム、秘密の詳細が、AIアプリの出力を通じて外へ出るおそれを挙げています。生成AIでの情報漏えいの全体像は、LLM経由の情報漏えいのページにも整理しました。
なぜ学習データの漏えいが大事なのですか?
AIの学習や調整に、顧客名簿や社内の議事録を使うと、その中身が回答の形で外へ出る経路ができます。NISTの報告書は、学習済みのモデルから特定のデータの影響を取り除く技術を紹介し、確実性の高い方法ほど計算の費用が増えると述べています。入れる前に選別するのが、最初の備えです。
OWASPのLLM02は、対策の見出しとして、データの無害化(サニタイズ)、アクセス制御、プライバシーを守る学習技術、利用者への教育と透明性などを挙げています。このうち無害化では、利用者のデータが学習モデルに入らないようにすることが示されています。外部のAIサービスを使う場合は、入力した内容が学習に使われるかを、契約や設定で確かめてください。
関連する言葉
- LLM経由の情報漏えい:LLMが、学習した情報や入力された機密を回答に含めてしまう問題です。
- シャドーAI:会社が把握していないところで、社員が使うAIサービスです。
次の一手
AIに入力してよい情報と、入力してはいけない情報を、社内で一覧にして共有してください。公開サイト側の状態は無料URLチェックで確認でき、AIの利用ルールの整え方は無料相談でも受け付けています。
よくある質問
AIが出した個人情報は、本物だと考えてよいですか?
NISTの報告書は、AIの回答が情報の持ち主を取り違えるなど、信頼できない場合があると述べています。本物かどうかにかかわらず、個人情報を含む出力は漏えいの疑いとして扱い、社内の対応窓口に知らせてください。
AIが学習データを覚えてしまうのは、なぜですか?
NISTの報告書は、ニューラルネットワークに学習データを記憶する傾向があると説明しています。容量の大きいモデルほど、学習した内容をそのまま再現しやすいという見方も紹介されています。
よくある質問
AIが出した個人情報は、本物だと考えてよいですか?
NISTの報告書は、AIの回答が情報の持ち主を取り違えるなど、信頼できない場合があると述べています。本物かどうかにかかわらず、個人情報を含む出力は漏えいの疑いとして扱い、社内の対応窓口に知らせてください。
AIが学習データを覚えてしまうのは、なぜですか?
NISTの報告書は、ニューラルネットワークに学習データを記憶する傾向があると説明しています。容量の大きいモデルほど、学習した内容をそのまま再現しやすいという見方も紹介されています。