執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
AI出力の安全でない取り扱いとは、AIの回答をそのまま信じて実行してしまう不備です。OWASPは、LLM(文章で会話するAI)の出力を、他の部品やシステムが受け取る前に、検証や無害化が足りない状態を指すと説明しています。
AI出力の安全でない取り扱いはどんな仕組み?
翻訳係が訳した文面を、中身を読まないまま、そのまま印刷所に回して刷ってしまう場面を思い浮かべてください。訳の中に、印刷所の機械を誤作動させる指示が紛れていれば、そのまま実行されます。
AIの出力は、利用者の入力に左右されます。そのため、OWASPは、出力を確かめないまま渡すと、利用者が本来持たない機能に、間接的に届いてしまうと述べています。画面に出す場合はクロスサイトスクリプティング、サーバー側では、サーバーを踏み台にした通信や権限の昇格、遠隔からのプログラム実行などにつながりうるとされています。
ここで注意したいのは、OWASPがこの問題を、出力の正確さを信じすぎる問題とは区別している点です。正確さの問題が「中身を信じるか」なのに対し、こちらは「出力をどう処理して渡すか」の問題です。事典の整理はAI出力の安全でない取り扱いの脆弱性ページにあります。
なぜAI出力の取り扱いが大事なのですか?
AIの回答を、サイトの画面やデータベース、他のサービスの操作にそのままつなぐ機能が増えています。つなぎ目に確認がなければ、AIが受けた細工の影響が、サイト全体へ広がります。
OWASPの対策は、AIを信頼できない利用者として扱い、出力を渡す前に検証することです。使う場所に合わせた安全な形への変換や、データベースでのパラメーター化したクエリも示されています。厳格なコンテンツセキュリティポリシーや、出力の記録と監視も、対策に含まれます。
これらは、従来のウェブの対策と同じ考え方です。クロスサイトスクリプティングの対策である出力のエスケープや、パラメーター化クエリを、AIの出力にも適用します。AIの動きがプロンプトインジェクションで変えられる可能性も考えて設計します。外から見える状態は無料URLチェックで確かめられます。
関連する言葉
- 出力のエスケープ:表示する文字を、安全な形に変換する処理です。
- パラメーター化クエリ:入力と命令を分けて、データベースに渡す書き方です。
次の一手
AIの回答を、画面やデータベース、他のサービスへ渡している箇所を、一覧にしてください。それぞれに、検証と安全な変換が入っているかを確かめます。整理はAI出力の安全でない取り扱いの脆弱性ページに、外から見える状態は無料URLチェックにあります。実装の相談は無料相談へどうぞ。
よくある質問
AIの回答が正しいかを確かめることと、同じ話ですか?
別の話です。OWASPは、AIの出力の正確さを信じすぎる問題と、出力を他の部品へ渡す前の検証や無害化が足りない問題を、分けて扱っています。この用語は、後者の渡し方に関する不備です。
どう防ぎますか?
AIを、信頼できない利用者と同じように扱います。OWASPは、出力を渡す前に検証すること、使う場所に合わせて出力を安全な形に変換すること、データベースの操作にはパラメーター化したクエリを使うことなどを示しています。
よくある質問
AIの回答が正しいかを確かめることと、同じ話ですか?
別の話です。OWASPは、AIの出力の正確さを信じすぎる問題と、出力を他の部品へ渡す前の検証や無害化が足りない問題を、分けて扱っています。この用語は、後者の渡し方に関する不備です。
どう防ぎますか?
AIを、信頼できない利用者と同じように扱います。OWASPは、出力を渡す前に検証すること、使う場所に合わせて出力を安全な形に変換すること、データベースの操作にはパラメーター化したクエリを使うことなどを示しています。