LLM経由の情報漏えいとは?仕組み・被害・対策と確認方法

LLM経由の情報漏えいが起きる経路を、OWASP・総務省・IPAなどの公的資料と公表された事例で整理します。社員の入力、社内文書を答えに使うAI、指示文の三つの場面で、自分で確かめる設定と直し方、診断費用の目安を説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

LLM(大規模言語モデル。文章を読み書きする生成AIの中核部分)経由の情報漏えいとは、AIに入力した情報や、AIが参照できる情報が、見せるつもりのない相手に届いてしまうことです。社員が外部の生成AIサービスを仕事で使っている会社と、社内文書を答えに使うチャットボットを作った会社が対象になります。まずは、社内で使われているAIサービスを一覧にして、入力した内容を提供元が学習に使うかどうかを確かめてください。

漏えいの多くは、入力した情報の行き先と、AIに見せてよい情報の範囲を、決めていないことが原因です。このページでは、仕組み、公表された事例、自分で確かめる手順、直し方を順に説明します。

要注意:次に当てはまる会社は確認を

次のうち一つでも当てはまるなら、AIの使い方を点検する価値があります。無料のサービスや、社員の個人アカウントで使われていないかも、あわせて見てください。

  • 契約書、顧客名簿、見積書、ソースコードなどを、社員が個人のアカウントでAIに貼り付けている可能性があります。
  • どのAIサービスを誰が使っているのか、会社として一覧にしていません。
  • AIサービスの規約を読んでおらず、入力内容が学習に使われるか、何日保存されるかを知りません。
  • 社内文書を検索して答えるチャットボットを作りましたが、文書ごとの閲覧権限を答えに反映させていません。
  • AIへの指示文(システムプロンプト)に、APIキーやパスワード、社内の事情を書いています。
  • AIがメールやWebページなど外から届く文章を読み、同じAIにメールの送信などの操作も任せています。

IPA(情報処理推進機構)の「情報セキュリティ10大脅威 2026」では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました。解説書は、許可なく業務で使うAI(シャドーAI)による情報漏えいを、リスクに挙げています。

なぜ、AIを通すと情報が漏れるのか?

AIサービスは、入力された文章を提供元のサーバーで処理します。入力が保存されたり、条件によってはモデルの改善に使われたりするため、会社の外へ情報が出る道が一つ増えます。自社でAIアプリを作る場合は、AIが読める文書や設定の範囲が、そのまま答えに出うる範囲になります。下の図のとおり、漏れ口は四つに分けると整理しやすくなります。

LLM経由の情報漏えいの図。入力、参照データ、指示文、外から届く文章の四つが漏れやすい場所で、入れる前に決める、参照させる前に絞る、指示文に書かない、出す前に確かめるの四つで止めることを示しています。

入力した情報が、提供元に残る

英国のNCSC(国家サイバーセキュリティセンター)は、公開されているLLMへの質問は提供元に保存され、サービスやモデルの開発に使われる可能性が高いと説明しています。保存された質問は、流出したり、誤って公開されたりするおそれもあります。NCSCは、公開のLLMに機密の情報を入れないよう勧めています。入力の扱いは、提供元と契約のプランでも変わります。

参照データの権限が、答えに反映されない

RAG(検索拡張生成。AIが社内文書を検索して、答えの材料に使う仕組み)では、AIは検索で見つけた文書をもとに答えます。検索の段階で閲覧権限を絞っていないと、本来は読めない人の質問にも、その文書の内容が混ざります。

OWASPは、データの整理が不十分なために、ある利用者が別の利用者の個人データを受け取る場面を挙げています。総務省のガイドラインは、RAG用のデータとデータストアの参照権限を、利用者や役割に応じて設定するよう求めています。

指示文や設定に、秘密を書いてしまう

AIには、役割や守るべき条件を伝える指示文(システムプロンプト)があります。ここに、APIキーや内部の事情を書くと、答えを通じて外に出る可能性があります。

OWASPは、指示文に返してよい情報の種類を書いても、守られるとは限らないと説明しています。総務省のガイドラインも、出力を意図しない秘密情報は指示文に直接書かず、AIが必要なときに参照できるよう別に管理するよう求めています。

外から届く文章に、AIが従ってしまう

メールやWebページの文章の中に、AIへの指示が仕込まれていると、AIがそれを命令として受け取ることがあります。この手口は、間接プロンプトインジェクションと呼ばれます。仕組みと対策は、プロンプトインジェクションのページで説明しています。

NCSCは、LLMには命令とデータを分ける確かな境目がないため、この問題が完全には解消しない可能性があると述べています。そのため、AIが読める情報と、AIが外へ送れる手段を、先に絞る設計が要ります。

公表された事例や注意喚起には、何があるのか?

Microsoft 365 Copilot の脆弱性(CVE-2025-32711)

NVD(米国の脆弱性データベース)には、2025年6月11日に、Microsoft 365 Copilot の脆弱性としてCVE-2025-32711が登録されています。記述は、AIへの命令の注入により、権限のない攻撃者がネットワーク越しに情報を開示させられる、というものです。Microsoft が付けた深刻度は、CVSS 3.1で9.3でした。

IPAの解説書は、この脆弱性を「EchoLeak」と呼びます。メールなどに含まれる不可視の指示をAIに読み込ませると、利用者の操作なしに秘密の情報を外部へ送らせうる、と説明しています。AIが社内の情報を読める状態と、外から届く文章を信じる性質が重なると、漏えいの経路になる例です。

個人情報保護委員会の注意喚起(2023年6月2日)

個人情報保護委員会は、2023年6月2日に、生成AIサービスを使う事業者向けの注意点を公表しました。個人情報を含むプロンプトを入力するときは、利用目的の達成に必要な範囲かを確かめるよう求めています。

本人の同意なしに個人データを含むプロンプトを入力し、応答の出力以外の目的で扱われる場合は、個人情報保護法に違反する可能性がある、と委員会は説明します。そのため、提供する事業者が機械学習に使わないことなどを、十分に確かめるよう求めています。同じ日に、ChatGPTの提供元であるOpenAIに対しても、要配慮個人情報の取得などについて注意喚起を行いました。

総務省の想定事例とNISTの指摘

総務省は、2026年3月のガイドラインで、RAGを使う内部向けのチャットボットを想定事例に挙げています。利用者が不正なプロンプトを入力して、参照データからデータを取り出そうとする場面で、実際の事故ではなく対策を考えるための想定です。NISTの生成AI向けの資料(NIST AI 600-1)は、攻撃を受けたLLMが、学習データに含まれていた機微な情報(公開情報由来のもの)を示した例があると述べています。

自分の会社のAIの扱いを、自分で確かめるには?

専門知識がなくても、次の手順で現状をつかめます。設定を変える前に、まず状況を一覧にしてください。

社員が使うAIサービスの扱いを確かめる

  1. 使っているサービスを洗い出します。 経費の明細、ブラウザの拡張機能、社内の通信ログ(プロキシなどの記録)、部署への聞き取りが手がかりです。IPAも、通信ログで未把握のAI利用を見つけるよう挙げています。
  2. 契約の種類を確かめます。 個人アカウントか法人の契約か、無料枠か有料枠かで、入力の扱いが変わります。
  3. 提供元の公式ページを読みます。 入力が学習に使われるか、保存期間はどれだけか、人が読むことがあるかを確かめます。下の表は、公式ページの記述の一例です。
  4. 学習に使わせない設定を探します。 設定画面に、入力を学習に使わせない選択肢があるか、管理者がまとめて設定できるかを見ます。IPAも、学習対象から外す設定の徹底を挙げています。
提供元・対象 公式ページに書かれていること(2026-11-18 確認)
Anthropic(API、Team、Enterprise などの商用製品) 入出力は、既定ではモデルの学習に使わない。フィードバックを送ると、会話ごと学習に使われる場合がある
OpenAI(API) APIに送ったデータは、既定では学習や改善に使わない。不正利用の監視のためのログは、既定で最長30日保管される
Google(Gemini API の無料枠) 送った内容と回答を、製品の改善に使う。人の査読者が読む場合がある。機密や個人の情報を送らないよう注意している
Google(Gemini API の有料枠) プロンプトと回答を、製品の改善には使わない。不正利用の検知などのために、限られた期間ログを残す

同じ提供元でも、プランで扱いが変わります。個人向けのサービスはこの表に含めていないため、社員が使うプランを先に確かめてください。

自社のAIアプリを確かめる

  • 権限のないテスト用アカウントで、見えないはずの文書の内容を質問します。答えに内容が出なければ、まず合格です。出た場合は、検索の対象が文書ごとの権限で絞られていません。
  • テスト用のアカウントを二つ作り、片方の会話の内容が、もう片方の履歴や答えに出ないかを確かめます。
  • AIへの指示文と設定ファイルを読み、APIキー、パスワード、社内の事情が書かれていないかを探します。
  • ログの保存先を開き、質問と回答に個人情報が残っていないか、誰が読めるか、何日残るかを確かめます。
  • AIが外から届く文章(メール、Webページなど)を読む場合は、同じAIがメール送信などの操作を持っていないかを見ます。

結果の読み方

答えに権限外の文書が出る、指示文に秘密が書かれている、ログに個人情報が残り続けている場合は、優先して直す対象です。AIの答えは毎回変わるため、一度の確認で安全だと決められません。結果の読み方や、直す順番に迷うときは、無料URLチェックで外から見える状態を確かめたうえで、無料相談で状況をお聞かせください。

情報漏えいへの対策

対策は、AIアプリを作る側(開発者・システム管理者)と、AIを使う側(経営者・運営者)で、やることが分かれます。AI事業者ガイドラインは、AIの脆弱性を完全には排除できないと認識するよう求めています。そのため、被害の上限を小さくする設計が欠かせません。

開発者・システム管理者向け

  • 参照データは、質問した本人が読める範囲に絞ります。AIの判断に任せず、検索の段階で権限を確かめます。
  • 入力と出力を検査します。個人情報や秘密のパターンを見つけて、伏せ字にするか、応答を断ります。総務省のガイドラインは、意図しない情報が出力に含まれていないかの検証を挙げています。
  • 指示文に、APIキーや秘密を書きません。必要な値は、AIが必要なときに参照できる別の場所で管理します。
  • 契約と設定で、会社のデータを学習に使わない条件を選びます。OWASPは、学習からの除外を選べることを挙げています。
  • 入出力と外部への呼び出しを記録し、保存期間と読める人を決めます。

経営者・運営者向け

  • 使ってよいAIサービスと、入力してはいけない情報の種類を決めます。IPAは、個人アカウントでの業務利用の制限と、規程の整備を挙げています。
  • 個人データを入力する場合は、個人情報保護委員会の注意点を確かめます。利用目的の範囲と、機械学習に使われない条件の確認です。
  • AIサービスの約款を確認します。AI事業者ガイドラインは、法令に定めがなくても、取引先との契約でデータの利用が禁じられる場合があると注意しています。
  • 社員に、秘密情報を安易に入力しないことと、AIの誤りを前提にすることを教えます。

自分でできる範囲と、専門家に頼む境目

自分でできるのは、サービスの一覧づくり、規約の確認、学習に使わせない設定、入力ルールの作成、権限のないアカウントでの簡単な試しです。これで入力側の穴は減らせます。専門家に頼む目安は、次のいずれかに当てはまる場合です。

  • 社内文書を答えに使うAIを、顧客や全社員に公開しようとしています。
  • 個人情報や、取引先の秘密を扱うデータを、AIに参照させています。
  • AIが外から届く文章を読み、メール送信などの操作もできます。
  • 取引先から、AIの安全性の確認を求められています。

無料URLチェック(0円)は、外から見える情報だけを確認します。AIが内部でどう動くかは外から見えないため、無料URLチェックでは分かりません。

費用の目安は、次のとおりです(すべて税別)。生成AI・LLMアプリ診断は298,000円〜で、報告書が付きます。金額は、診断する機能の数、AIがつながる先の数、参照するデータの種類と量、緊急度で変わります。

見つかった穴の対応は、脆弱性の個別修正が1件 10,000円〜(税別)で、修正後の再診断は1回無料です。正式なお見積もりは、無料診断のあとにお出しします。

まず現状を知りたい方は、無料URLチェックをお使いください。判断に迷う場合は、無料相談で状況をうかがいます。

cyber-shield が確認すること

当社の生成AI・LLMアプリ診断では、担当者がテスト用の状況を作って、AIの答えを読みます。情報漏えいに関しては、次の点を確かめます。

  • 他の利用者の情報や社内文書が答えに混ざらないか、参照データの権限の境目が効いているかを確かめます。
  • 指示文と設定に、鍵や内部の事情が書かれていないかを読みます。
  • 外から届く文章を、AIがどこまで信じて動くかを確かめます。
  • AIが使える道具と、その権限の広さを調べます。

診断の対象は、お客様が管理するアプリと設定の範囲です。AIの提供元が運営する基盤そのものへの検査は含みません。診断の前に秘密保持契約(NDA)を結び、診断同意書で対象と期間を決めます。診断は安全を保証するものではなく、見つかった穴を減らすための作業です。

よくある質問

会社のデータをAIに入力すると、必ず学習に使われますか?

必ずではなく、提供元とプランで扱いが違います。Anthropicは、API、Team、Enterpriseなどの商用製品の入出力を、既定ではモデルの学習に使わないと説明しています。OpenAIのAPIも既定では学習に使わず、GoogleのGemini APIは、無料枠では製品の改善に使い、有料枠では使いません。個人向けは、提供元の公式ページで確認してください。

学習に使われなければ、入力しても安全ですか?

安全とは言えません。英国のNCSCは、提供元に保存された質問が、流出したり誤って公開されたりする可能性を挙げています。OpenAIのAPIも、不正利用の監視のためのログを既定で最長30日保管します。

社内文書を答えに使うAIで、権限のない人に文書が見えてしまうことはありますか?

作り方によっては起こります。総務省のガイドラインは、AIが参照するデータへの参照権限を、利用者や役割に応じて設定するよう求めています。権限のないテスト用アカウントで質問すれば確かめられます。

AIへの指示文に「秘密は話すな」と書けば十分ですか?

足りません。OWASPは、指示文に書いた制限が守られるとは限らず、プロンプトインジェクションなどで回避されうると説明しています。APIキーのような秘密は、指示文に書かず別に管理してください。

AIの安全性の確認にはいくらかかりますか?

無料URLチェック(0円)は外から見える情報だけを確認するため、AIの内部の動きは分かりません。生成AI・LLMアプリ診断は298,000円〜(税別)で、診断する機能の数、AIがつながる先の数、参照するデータの種類と量で変わります。修正後の再診断は1回無料です。

次の一手

今日できる作業は、社内で使われているAIサービスを一覧にすることと、入力してはいけない情報の種類を決めることです。この二つで、入力側の漏えいは大きく減らせます。自社のAIアプリの中を第三者の目で確かめたい場合は、無料URLチェックで外から見える状態を確かめ、無料相談で診断の範囲を決めましょう。

よくある質問

会社のデータをAIに入力すると、必ず学習に使われますか?

必ずではなく、提供元とプランで扱いが違います。Anthropicは、API、Team、Enterpriseなどの商用製品の入出力を、既定ではモデルの学習に使わないと説明しています。OpenAIのAPIも既定では学習に使わず、GoogleのGemini APIは、無料枠では製品の改善に使い、有料枠では使いません。個人向けは、提供元の公式ページで確認してください。

学習に使われなければ、入力しても安全ですか?

安全とは言えません。英国のNCSCは、提供元に保存された質問が、流出したり誤って公開されたりする可能性を挙げています。OpenAIのAPIも、不正利用の監視のためのログを既定で最長30日保管します。

社内文書を答えに使うAIで、権限のない人に文書が見えてしまうことはありますか?

作り方によっては起こります。総務省のガイドラインは、AIが参照するデータへの参照権限を、利用者や役割に応じて設定するよう求めています。権限のないテスト用アカウントで質問すれば確かめられます。

AIへの指示文に「秘密は話すな」と書けば十分ですか?

足りません。OWASPは、指示文に書いた制限が守られるとは限らず、プロンプトインジェクションなどで回避されうると説明しています。APIキーのような秘密は、指示文に書かず別に管理してください。

AIの安全性の確認にはいくらかかりますか?

無料URLチェック(0円)は外から見える情報だけを確認するため、AIの内部の動きは分かりません。生成AI・LLMアプリ診断は298,000円〜(税別)で、診断する機能の数、AIがつながる先の数、参照するデータの種類と量で変わります。修正後の再診断は1回無料です。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。