プロンプトインジェクションとは

プロンプトインジェクションとは、AIへの指示を悪用して意図しない動作をさせる手口です。OWASPとNISTの資料をもとに、直接型と間接型の違い、AIを組み込むサイトの運営者が見直したい点を、初めての方にも分かる言葉で、順を追って説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

プロンプトインジェクションとは、AIへの指示を悪用して意図しない動作をさせる手口です。OWASPは、利用者の入力が、大規模言語モデル(LLM、文章で会話するAI)の動作や出力を、意図しない形で変えてしまう弱点と説明しています。

プロンプトインジェクションはどんな仕組み?

受付係に「このお客様の用件を、手順書どおりに案内してください」と頼んだところ、お客様が渡したメモに、別の命令が紛れていた場面を思い浮かべてください。受付係がメモの命令まで従ってしまえば、手順書が守られません。AIでも、本来の指示と、外から入ってきた文章の区別がつかないと、同じことが起こります。

OWASPは、この問題を二つに分けています。直接型は、利用者自身が入力した文章でAIの動きが変わる場合です。間接型は、AIが取り込んだWebページやファイルの中に指示が含まれていて、それでAIの動きが変わる場合です。NISTも、間接型を、AIの結びついたアプリが取り出しそうなデータへ、外から指示を埋め込む攻撃と説明しています。

人が目で読めない形でも、AIが読み取れれば成り立つ点に注意が必要です。確実に防ぐ方法は知られておらず、OWASPの対策も被害を減らすためのものとされています。

AIを組み込んだ機能の点検はAI・LLM診断で扱っています。弱点の整理はプロンプトインジェクションの脆弱性ページにあります。

なぜプロンプトインジェクションが大事なのですか?

問い合わせの自動応答や、資料を読んで答えるAIをサイトに入れる会社が増えています。AIが社内の資料や外部のサービスにつながるほど、動きが乗っ取られたときの影響は広がります。

OWASPは、対策として、AIの役割と範囲を指示で定めること、出力の形をプログラムで確かめること、入力と出力を絞ることなどを挙げています。権限の絞り込みや人の承認といった設計は、プロンプトインジェクションの脆弱性ページに整理しました。

AIを、信頼できない利用者と同じように扱う、という考え方も添えられています。定期的に攻撃者の目線で試す点検も、対策の一つです。

関連する言葉

次の一手

AIを入れた機能がある場合は、AIがどの資料やサービスに触れるのかを書き出してください。弱点の整理はプロンプトインジェクションの脆弱性ページに、点検の範囲はAI・LLM診断にあります。外から見える状態は無料URLチェックで、導入前の相談は無料相談で受け付けています。

よくある質問

プロンプトインジェクションは、完全に防げますか?

防げると言い切れる方法は、いまのところありません。OWASPは、確実に防ぐ方法は知られておらず、対策は被害を小さくするためのものだと述べています。役割の範囲を決める、AIに持たせる権限を絞る、重要な操作は人が承認する、といった組み合わせで備えます。

ジェイルブレイクとは、同じものですか?

OWASPは、ジェイルブレイクを、プロンプトインジェクションの一種と説明しています。AIが守るべき安全の決まりを、すべて無視させようとする点が特徴で、二つの言葉はしばしば区別なく使われます。

よくある質問

プロンプトインジェクションは、完全に防げますか?

防げると言い切れる方法は、いまのところありません。OWASPは、確実に防ぐ方法は知られておらず、対策は被害を小さくするためのものだと述べています。役割の範囲を決める、AIに持たせる権限を絞る、重要な操作は人が承認する、といった組み合わせで備えます。

ジェイルブレイクとは、同じものですか?

OWASPは、ジェイルブレイクを、プロンプトインジェクションの一種と説明しています。AIが守るべき安全の決まりを、すべて無視させようとする点が特徴で、二つの言葉はしばしば区別なく使われます。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。