執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
プロンプトインジェクションとは、AIへの指示を悪用して意図しない動作をさせる手口です。OWASPは、利用者の入力が、大規模言語モデル(LLM、文章で会話するAI)の動作や出力を、意図しない形で変えてしまう弱点と説明しています。
プロンプトインジェクションはどんな仕組み?
受付係に「このお客様の用件を、手順書どおりに案内してください」と頼んだところ、お客様が渡したメモに、別の命令が紛れていた場面を思い浮かべてください。受付係がメモの命令まで従ってしまえば、手順書が守られません。AIでも、本来の指示と、外から入ってきた文章の区別がつかないと、同じことが起こります。
OWASPは、この問題を二つに分けています。直接型は、利用者自身が入力した文章でAIの動きが変わる場合です。間接型は、AIが取り込んだWebページやファイルの中に指示が含まれていて、それでAIの動きが変わる場合です。NISTも、間接型を、AIの結びついたアプリが取り出しそうなデータへ、外から指示を埋め込む攻撃と説明しています。
人が目で読めない形でも、AIが読み取れれば成り立つ点に注意が必要です。確実に防ぐ方法は知られておらず、OWASPの対策も被害を減らすためのものとされています。
AIを組み込んだ機能の点検はAI・LLM診断で扱っています。弱点の整理はプロンプトインジェクションの脆弱性ページにあります。
なぜプロンプトインジェクションが大事なのですか?
問い合わせの自動応答や、資料を読んで答えるAIをサイトに入れる会社が増えています。AIが社内の資料や外部のサービスにつながるほど、動きが乗っ取られたときの影響は広がります。
OWASPは、対策として、AIの役割と範囲を指示で定めること、出力の形をプログラムで確かめること、入力と出力を絞ることなどを挙げています。権限の絞り込みや人の承認といった設計は、プロンプトインジェクションの脆弱性ページに整理しました。
AIを、信頼できない利用者と同じように扱う、という考え方も添えられています。定期的に攻撃者の目線で試す点検も、対策の一つです。
関連する言葉
- ジェイルブレイク:AIにかけられた制限を、言葉の工夫で回避させる手口です。
- AIエージェントの過剰な権限:AIに任せた操作の権限が、大きすぎる状態です。
- LLM経由の情報漏えい:AIへの入力や回答を通じて、機密が漏れてしまう問題です。
- AI出力の安全でない取り扱い:AIの回答をそのまま信じて実行してしまう不備です。
次の一手
AIを入れた機能がある場合は、AIがどの資料やサービスに触れるのかを書き出してください。弱点の整理はプロンプトインジェクションの脆弱性ページに、点検の範囲はAI・LLM診断にあります。外から見える状態は無料URLチェックで、導入前の相談は無料相談で受け付けています。
よくある質問
プロンプトインジェクションは、完全に防げますか?
防げると言い切れる方法は、いまのところありません。OWASPは、確実に防ぐ方法は知られておらず、対策は被害を小さくするためのものだと述べています。役割の範囲を決める、AIに持たせる権限を絞る、重要な操作は人が承認する、といった組み合わせで備えます。
ジェイルブレイクとは、同じものですか?
OWASPは、ジェイルブレイクを、プロンプトインジェクションの一種と説明しています。AIが守るべき安全の決まりを、すべて無視させようとする点が特徴で、二つの言葉はしばしば区別なく使われます。
よくある質問
プロンプトインジェクションは、完全に防げますか?
防げると言い切れる方法は、いまのところありません。OWASPは、確実に防ぐ方法は知られておらず、対策は被害を小さくするためのものだと述べています。役割の範囲を決める、AIに持たせる権限を絞る、重要な操作は人が承認する、といった組み合わせで備えます。
ジェイルブレイクとは、同じものですか?
OWASPは、ジェイルブレイクを、プロンプトインジェクションの一種と説明しています。AIが守るべき安全の決まりを、すべて無視させようとする点が特徴で、二つの言葉はしばしば区別なく使われます。