ジェイルブレイクとは

ジェイルブレイクとは、AIにかけられた制限を、言葉の工夫で回避させる手口です。OWASPとNISTの資料をもとに、プロンプトインジェクションとの関係と、制限だけに頼らない備え方を、初めての方にも分かる言葉で、順を追って説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

ジェイルブレイクとは、AIにかけられた制限を、言葉の工夫で回避させる手口です。NISTの生成AI向け資料は、出力の制限を回避するためにプロンプト(AIへの指示文)を細工すること、と説明しています。

ジェイルブレイクはどんな仕組み?

関係者以外は通さないと決められた門で、もっともらしい話をして、警備員に決まりを忘れさせる場面に近い手口です。門や警備員にあたるのが、AIに組み込まれた安全の仕組みです。決まりそのものを壊すのではなく、AIが決まりに従わないように話し方で誘導します。

OWASPは、ジェイルブレイクを、プロンプトインジェクションの一種と位置づけています。AIが安全の決まりを、すべて無視するように仕向ける点が特徴です。二つの言葉はしばしば同じ意味で使われる、とも書かれています。

防ぐには、モデルの学習や安全の仕組みを、継続して更新する必要があるとされています。一度作れば終わり、という性質のものではありません。プロンプトインジェクションの全体像はプロンプトインジェクションの用語ページに、事典の整理はプロンプトインジェクションの脆弱性ページにまとめました。

なぜジェイルブレイクが大事なのですか?

AIに「これは答えない」「この情報は出さない」と指示しておけば安心、と考える運営者は少なくありません。しかし、OWASPは、指示で情報の種類を制限しても、プロンプトインジェクションで回避される場合があると述べています。

そのため、AIの回答で守りたい情報は、AIの制限だけに任せず、そもそもAIに渡さない設計にします。AIが触れられる資料の範囲を絞ることも、効果のある見直しです。

また、NISTは、ジェイルブレイクを試すテストだけでは、AIの正確さや信頼性を体系的に確かめられない場合がある、とも指摘しています。試験は、ほかの確認と組み合わせるものです。外から見えるサイトの状態は、無料URLチェックで確かめられます。

関連する言葉

次の一手

AIに守らせている決まりと、AIに渡している情報を、別々に書き出してください。決まりの回避に備えて、渡す情報を最小にする方針を決めます。詳しい整理はプロンプトインジェクションの脆弱性ページに、自社の確認は無料URLチェックと無料相談にあります。

よくある質問

ジェイルブレイクと、プロンプトインジェクションの違いは何ですか?

OWASPは、ジェイルブレイクをプロンプトインジェクションの一種とし、AIの安全の決まりをすべて無視させようとするものと説明しています。二つの言葉は、しばしば同じ意味で使われます。

AIに「禁止」と指示しておけば、安心ですか?

それだけでは足りません。OWASPは、指示でデータの種類を制限しても、プロンプトインジェクションで回避される場合があると述べています。当社の考えでは、権限の絞り込みや、出力の確認も組み合わせるのが現実的です。

よくある質問

ジェイルブレイクと、プロンプトインジェクションの違いは何ですか?

OWASPは、ジェイルブレイクをプロンプトインジェクションの一種とし、AIの安全の決まりをすべて無視させようとするものと説明しています。二つの言葉は、しばしば同じ意味で使われます。

AIに「禁止」と指示しておけば、安心ですか?

それだけでは足りません。OWASPは、指示でデータの種類を制限しても、プロンプトインジェクションで回避される場合があると述べています。当社の考えでは、権限の絞り込みや、出力の確認も組み合わせるのが現実的です。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。