AI出力の安全でない取り扱いとは?仕組み・被害・対策と確認方法

AI出力の安全でない取り扱いとは何かを、AIの答えが画面・データベース・命令へ渡る仕組みの図、IPAやOWASPの資料、登録された事例、運営者が自分で確かめる方法の順に説明します。診断費用の目安と無料URLチェックの案内つきです。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

AI出力の安全でない取り扱い(Improper Output Handling)とは、AIが作った文章やコードを、検証も変換もせずに他の仕組みへ渡す欠陥です。渡し先は、画面、データベース、サーバーの命令などです。影響を受けるのは、生成AIを画面や業務システムにつないだ会社で、被害は閲覧者や自社のシステムに及びます。まず確かめるのは、AIの答えが、人の確認なしにどこへ渡っているかの一覧です。

OWASP(Webの安全性を研究する非営利団体)、MITRE(脆弱性の分類CWEを管理する非営利組織)、IPAの資料をもとに整理しました。攻撃に使う文字列や手順は載せません。被害の疑いがあるときは、先に緊急時の案内をご覧ください。

要注意:次に当てはまるAIの使い方は確認を

次のうち1つでも当てはまれば、確認する価値があります。確認の中心は、AIの答えが人の目を通らずに、次の処理へ渡る箇所です。

  • AIの答えを、HTMLやMarkdownのまま画面に表示しています(チャット画面、要約、口コミの自動整理など)
  • 自然な文章で頼むと、AIがデータベースの検索条件や命令を作り、そのまま実行する機能があります
  • AIが作ったコードやコマンドを、確認なしに実行する機能があります
  • AIの答えを、ファイル名や保存先、メールの文面、他システムへの指示に使っています
  • AIが外部のWebページ、メール、アップロードされた文書を読んで答えを作ります
  • AIのつながる先が、利用者本人より強い権限で動いています

AI出力の安全でない取り扱いとは?仕組みを日常の例で

会社の受付に通訳がいて、来客の話を聞き取り、要点を書いた伝票を作るとします。その伝票を、金庫や発注の担当者が、中身を読まずにそのまま実行したらどうなるでしょうか。伝票の内容は、来客の話や、来客が持ち込んだ書類に左右されるため、他人が書いた文章と同じ扱いが要ります。

AIの答えも同じです。AIは、利用者の質問や外部の文章を読んで答えを作るので、答えの中身は、読んだ内容に影響されます。それをそのまま次の仕組みへ渡すと、渡し先が、AIを通じて外から動かされるおそれがあります。

OWASPは、この欠陥を、AIの出力が他の部品や仕組みに渡る前の、検証と無害化の不足と説明しています。プロンプト(AIへの指示文)が出力に影響するため、攻撃者はAI経由で、本来は触れない機能へ間接的に近づけるとの説明です。NISTは、AIにはデータと命令が別の経路で渡されないことが多くの欠陥の根にあるとし、昔からあるSQLインジェクションに似た欠陥だと記しています。

IPAの「安全なウェブサイトの作り方」は、エスケープ(記号を、文字として表示される形に直す処理)の対象を挙げています。外部の入力値や、データベースやファイルから読んだ文字列に加え、演算で生成した文字列も含まれます。AIが作る文字列にも、当社は同じ扱いが必要だと考えます。

AIの答えが画面、データベース、サーバーの命令、外部サービスへ検証されずに渡る流れと、検証、渡し先に合わせた変換、権限の絞り込み、人の承認と記録という4つの止め方を示した図

図の3番が穴の場所です。ここで答えを検証し、渡し先に合わせて整えれば、渡し先は動きません。

渡し先ごとに起きること

  • 画面(ブラウザ):答えの中の記号が画面の命令として働き、閲覧者のブラウザで意図しない動作が起きます。クロスサイトスクリプティング(XSS)と同じ型です
  • データベース:AIが作った検索の命令をそのまま実行すると、データの閲覧、変更、削除につながります。SQLインジェクションと同じ型です
  • サーバーの命令:答えをOSの命令やコードの実行にそのまま渡すと、サーバーを操作されます。OSコマンドインジェクションと同じ型です
  • 外部のサービスやメール:答えが送信、発注、設定変更の指示として使われ、取り消せない処理が実行されます

OWASPは、結果として、XSS、CSRF、SSRF、権限昇格、リモートコード実行を挙げています。なお、答えの正確さを信用しすぎる問題は、別の項目として区別されています。

AIに意図しない答えを出させる入口は、プロンプトインジェクションです。出力の取り扱いが正しければ、入口を突かれても、被害は渡し先の手前で止まります。

実際に登録された事例には、何があるのか?

当社が原典で確かめたのは、脆弱性データベースNVD(米国NISTが運営)の記録と、IPAの手引書です。これらは脆弱性の登録であり、実際の被害の報告ではありません。

LangChain の GraphCypherQAChain(CVE-2024-8309)

NVDの記録によると、AIアプリ用の部品群 LangChain の0.2.5版にある機能 GraphCypherQAChain に、脆弱性が2024年10月29日に登録されました。プロンプトインジェクションを経由して、SQLインジェクションが起こりうるという内容です。NVDの評価はCVSS 9.8(Critical)で、データの改ざんや取得、全データの削除につながりうると記されています。

IPAの手引書(2026年7月)は、この件を取り上げ、根本の原因を次のように整理しています。利用者の自然な文章をデータベースの言語に変えて直接実行する機能で、AIが生成した命令の無害化と検証が欠けていたこと、読み取り専用などの権限制限も設けていなかったことです。

LangChain の LLMMathChain(CVE-2023-29374)

NVDの記録では、LangChain の0.0.131版までのLLMMathChainが、プロンプトインジェクションにより、任意のコードを実行できると記されています。登録は2023年4月5日で、NVDの評価はCVSS 9.8(Critical)です。AIが作った式やコードを確認なしに実行する設計が、そのまま弱点になった例です。

国内の被害件数について

当社が確かめた範囲では、国内の当局が、AI出力の扱いの不備による被害の件数を示した統計は見当たりません(確認日 2026-11-17)。数字が無い分、登録された脆弱性の構図を、自社の設計を見直す材料にしてください。

運営者が自分で確かめる方法

コードを読まなくても、設定画面と台帳で確かめられることがあります。AIに細工した入力を試す確認は、自社のAIでも本番では行わないでください。データの破損や、誤った処理の実行につながるおそれがあります。

1. AIの答えが渡っている先を一覧にする

画面、データベース、コードの実行、メール送信、他システムのAPI、ファイルの保存など、AIの答えが渡る先を書き出します。それぞれに、人の確認が入るかどうかを記入します。確認が入らない行が、優先して見直す箇所です。

2. AIが使える権限を確かめる

AIがつながるデータベースの権限が、読み取り専用かどうかを、開発担当やサービス提供元に聞きます。AIが実行できる操作の一覧と、利用者本人より強い権限で動いていないかも確かめます。OWASPは、AIが利用者より多くの権限を持つ場合に、リスクが高まるとしています。

3. 画面側で、守りの設定を見る

AIの答えを表示する画面を、Google Chromeで開き、右クリックから検証(Inspect)を選びます。Networkタブで再読み込みし、一番上の項目のResponse Headers欄に、Content-Security-Policyがあるかを見ます。ない場合は、制作会社に設定を相談してください。

4. 開発担当や制作会社に、4つのことを聞く

  • AIの答えを画面に出すとき、自動変換を通していますか。値をそのままHTMLにする機能(逃げ道)を使っていませんか
  • AIが作った検索の命令は、パラメータ化(命令と値を分ける仕組み)を通していますか
  • AIの答えを、OSの命令やコードの実行に渡していませんか
  • 渡す前に、許可した形式かどうかを確かめる検証を入れていますか

AIの入力と出力、実行された処理の記録が残っているかも、あわせて確認します。OWASPは、出力のログと監視が無いことも、リスクを高める要因に挙げています。

AIの答えを安全に渡すには、何から手をつければよいのか?

OWASPは、AIを、ほかの利用者と同じように扱い、信頼しない(ゼロトラスト)考え方を、第一の対策に挙げています。答えを信用する前提を捨て、渡し先ごとに検証と変換を行います。

開発者向け:渡す前に整える

  1. AIの答えを、信頼できない入力として扱い、渡す前に検証します。許可した形式(項目、長さ、選択肢)だけを通す方式が基本です。CWE-1426も、出力を信頼できないものとして扱うことを、設計段階の対策に挙げています
  2. 画面に出す値は、出力先に合わせて変換(エスケープ)します。OWASPは、HTMLの本文、属性、URLで規則が違う点を強調し、IPAも、出力するすべての要素にエスケープを求めています。CWE-116も、渡し先が期待する符号化を理解するよう挙げます。NISTは、Markdownの画像表示から情報が外へ出る危険も挙げています
  3. データベースには、パラメータ化した命令を使います。AIにSQLの全文を作らせて実行する設計は避けます
  4. OSの命令やコードの実行に、AIの答えを渡さない設計にします。IPAは、シェルを起動できる機能を避けることを、根本的な解決としています。どうしても必要なら、許可した処理の一覧から選ばせます
  5. AIがつながる先の権限を最小にします。総務省のガイドラインは、オーケストレータ(AIと外部をつなぐ制御部分)の権限を必要最小限にして、被害の拡大を抑えるとしています
  6. CSPを設定し、入出力を記録して監視します。OWASPは、厳格なCSPと、出力の異常を見つけるログと監視を挙げています。ガードレール(入出力を検閲する仕組み)も補助になりますが、IPAは、単独では万全でないと記しています

運営者向け:運用で重ねる

  1. 決済、データの外部送信、設定変更のように影響が大きい処理は、AIに自動で実行させず、人の承認を挟みます。IPAの手引書も、これらの操作で人の承認を必須とする手順を求めています
  2. AI機能を追加・変更するたびに、答えの渡し先を確認します。制作会社との契約に診断を入れておくと、忘れません
  3. 外部のAIサービスやプラグインを入れるときは、答えが画面やシステムへ自動で渡る仕様かを確認し、渡し先ごとの権限を決めます
  4. おかしな動作に気づいたら、AI機能を止められるよう切り替えを用意し、入力と出力の記録を残して原因を調べます

自分でできる範囲と、専門家に頼む境目

境目は、台帳と設定画面で確かめられることと、実際の処理をたどらないと分からないことにあります。渡し先の一覧、権限の確認、守りの設定の有無は、運営者ご自身でできます。答えが本当に検証されて渡っているか、渡し先で変換が働いているかは、専門家が構成を見て確かめます。

当社の費用の目安は、次のとおりです。金額はすべて税別で、「〜」は最低価格を表します。

  • 無料URLチェック:0円(外から誰でも見られる情報だけを確認します。AIの裏側の処理は見られません)
  • 生成AI・LLMアプリ診断:298,000円〜(報告書付きです)
  • Webアプリケーション診断 ライト:98,000円〜(10画面まで。AIの答えを表示する画面側の確認に向きます)
  • 脆弱性の個別修正:1件 10,000円〜(税別、内容により見積もり)
  • 修正後の再診断:1回無料

金額が上がる要因は、診断する機能や画面の数、AIがつながる先の数、ログイン後の画面の有無です。正式なお見積もりは、無料診断のあとにお出しします。

まず現状を知りたい方は、URLだけで使える無料URLチェックをお試しください。AIの構成を診断するべきか迷うときは、無料相談で状況を聞かせてください。

cyber-shield が確認すること

当社の生成AI・LLMアプリ診断は、OWASPの10項目を観点に、構成の確認と、担当者による実際の操作で調べます。この欠陥については、AIの答えを、そのまま画面表示や命令に使っていないかを、渡し先ごとに確かめます。画面側は、Webアプリケーション脆弱性診断の手法で、変換が働いているかを見ます。

診断の前に、秘密保持契約(NDA)と診断同意書を結びます。報告書にまとめ、ご希望があれば修正まで承ります。修正後の再診断は1回無料です。

当社が行わないのは、AIの提供元が運営する基盤の検査と、AIの答えが正確かどうかの保証です。診断は、その時点で見つかった穴を知る作業であり、将来の安全を保証するものではありません。詳細は生成AI・LLMアプリ診断のページにあります。

AI出力の安全でない取り扱いのよくある質問

AI出力の安全でない取り扱いとは、ひとことで言うと何ですか?

AIが作った文章やコードを、検証も変換もしないまま、画面、データベース、サーバーの命令、他のシステムへ渡してしまう欠陥です。OWASPは、AIの出力が他の仕組みに渡る前の検証と無害化の不足として定義しています。

プロンプトインジェクションとは何が違いますか?

プロンプトインジェクションは、AIに読ませた文章で、意図しない答えを出させる入口の問題です。出力の取り扱いは、その答えを受け取る側の問題で、検証や変換を欠くと、答えが画面やデータベースや命令の実行に影響します。入口が破られても、出口で止めれば被害を抑えられます。

AIの答えが間違う問題(ハルシネーション)とは別ですか?

別です。OWASPは、答えの正確さを信用しすぎる問題を、別の項目として区別しています。出力の取り扱いは、答えが正しいかどうかにかかわらず、渡す前に検証と変換を行うかどうかの問題です。

ガードレールを入れれば防げますか?

補助にはなりますが、それだけでは足りません。IPAの手引書は、入出力を検閲する機能も万全ではなく、単独で完全な防御を保証するものではないと記しています。渡し先ごとの変換、権限の絞り込み、人の承認と組み合わせます。

診断の費用はいくらですか?

生成AI・LLMアプリ診断は298,000円〜(税別)です。AIの答えを表示する画面側の確認には、Webアプリケーション診断 ライトが98,000円〜(税別)です。診断する機能や画面の数、AIがつながる先の数で変わります。正式なお見積もりは、無料診断のあとにお出しします。

次の一手:AIの答えの渡し先を一覧にする

今日できる最初の一歩は、自社のAIの答えが、画面、データベース、コードの実行、メール、他システムのどこへ渡っているかを、1枚の表に書き出すことです。人の確認が入らない行が、確認の優先順位になります。

表ができたら、外から見える状態を無料URLチェックで確かめてください。AIの中身まで確認したいときは、無料相談で、どこまで自社で行い、どこから任せるかを一緒に決めましょう。

よくある質問

AI出力の安全でない取り扱いとは、ひとことで言うと何ですか?

AIが作った文章やコードを、検証も変換もしないまま、画面、データベース、サーバーの命令、他のシステムへ渡してしまう欠陥です。OWASPは、AIの出力が他の仕組みに渡る前の検証と無害化の不足として定義しています。

プロンプトインジェクションとは何が違いますか?

プロンプトインジェクションは、AIに読ませた文章で、意図しない答えを出させる入口の問題です。出力の取り扱いは、その答えを受け取る側の問題で、検証や変換を欠くと、答えが画面やデータベースや命令の実行に影響します。入口が破られても、出口で止めれば被害を抑えられます。

AIの答えが間違う問題(ハルシネーション)とは別ですか?

別です。OWASPは、答えの正確さを信用しすぎる問題を、別の項目として区別しています。出力の取り扱いは、答えが正しいかどうかにかかわらず、渡す前に検証と変換を行うかどうかの問題です。

ガードレールを入れれば防げますか?

補助にはなりますが、それだけでは足りません。IPAの手引書は、入出力を検閲する機能も万全ではなく、単独で完全な防御を保証するものではないと記しています。渡し先ごとの変換、権限の絞り込み、人の承認と組み合わせます。

診断の費用はいくらですか?

生成AI・LLMアプリ診断は298,000円〜(税別)です。AIの答えを表示する画面側の確認には、Webアプリケーション診断 ライトが98,000円〜(税別)です。診断する機能や画面の数、AIがつながる先の数で変わります。正式なお見積もりは、無料診断のあとにお出しします。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。