執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
ジェイルブレイクとは、AIにかけられた制限を、言葉の工夫で回避させる手口です。NISTの生成AI向け資料は、出力の制限を回避するためにプロンプト(AIへの指示文)を細工すること、と説明しています。
ジェイルブレイクはどんな仕組み?
関係者以外は通さないと決められた門で、もっともらしい話をして、警備員に決まりを忘れさせる場面に近い手口です。門や警備員にあたるのが、AIに組み込まれた安全の仕組みです。決まりそのものを壊すのではなく、AIが決まりに従わないように話し方で誘導します。
OWASPは、ジェイルブレイクを、プロンプトインジェクションの一種と位置づけています。AIが安全の決まりを、すべて無視するように仕向ける点が特徴です。二つの言葉はしばしば同じ意味で使われる、とも書かれています。
防ぐには、モデルの学習や安全の仕組みを、継続して更新する必要があるとされています。一度作れば終わり、という性質のものではありません。プロンプトインジェクションの全体像はプロンプトインジェクションの用語ページに、事典の整理はプロンプトインジェクションの脆弱性ページにまとめました。
なぜジェイルブレイクが大事なのですか?
AIに「これは答えない」「この情報は出さない」と指示しておけば安心、と考える運営者は少なくありません。しかし、OWASPは、指示で情報の種類を制限しても、プロンプトインジェクションで回避される場合があると述べています。
そのため、AIの回答で守りたい情報は、AIの制限だけに任せず、そもそもAIに渡さない設計にします。AIが触れられる資料の範囲を絞ることも、効果のある見直しです。
また、NISTは、ジェイルブレイクを試すテストだけでは、AIの正確さや信頼性を体系的に確かめられない場合がある、とも指摘しています。試験は、ほかの確認と組み合わせるものです。外から見えるサイトの状態は、無料URLチェックで確かめられます。
関連する言葉
- プロンプトインジェクション:AIへの指示を悪用して、意図しない動作をさせる手口です。
- ガードレール:AIの出力や動作に、歯止めをかける安全装置の仕組みです。
次の一手
AIに守らせている決まりと、AIに渡している情報を、別々に書き出してください。決まりの回避に備えて、渡す情報を最小にする方針を決めます。詳しい整理はプロンプトインジェクションの脆弱性ページに、自社の確認は無料URLチェックと無料相談にあります。
よくある質問
ジェイルブレイクと、プロンプトインジェクションの違いは何ですか?
OWASPは、ジェイルブレイクをプロンプトインジェクションの一種とし、AIの安全の決まりをすべて無視させようとするものと説明しています。二つの言葉は、しばしば同じ意味で使われます。
AIに「禁止」と指示しておけば、安心ですか?
それだけでは足りません。OWASPは、指示でデータの種類を制限しても、プロンプトインジェクションで回避される場合があると述べています。当社の考えでは、権限の絞り込みや、出力の確認も組み合わせるのが現実的です。
よくある質問
ジェイルブレイクと、プロンプトインジェクションの違いは何ですか?
OWASPは、ジェイルブレイクをプロンプトインジェクションの一種とし、AIの安全の決まりをすべて無視させようとするものと説明しています。二つの言葉は、しばしば同じ意味で使われます。
AIに「禁止」と指示しておけば、安心ですか?
それだけでは足りません。OWASPは、指示でデータの種類を制限しても、プロンプトインジェクションで回避される場合があると述べています。当社の考えでは、権限の絞り込みや、出力の確認も組み合わせるのが現実的です。