執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
ガードレールとは、AIの出力や動作に歯止めをかける安全装置の仕組みです。AI事業者ガイドライン(総務省・経済産業省)は、AIを開発・提供する事業者に、不適切な出力などの危険を最小限にする方法として、ガードレール技術等を検討するよう示しています。
ガードレールはどんな仕組み?
山道の脇に立つ防護柵が、車が道を外れたときに、谷底への転落を食い止めるのに似ています。AIでは、AIが出してはいけない答えや、してはいけない操作の手前で、受け止める働きをします。
OWASPが挙げる方法を見ると、役割が分かります。AIの役割や範囲を指示で決めること、出力の形を決めてプログラムで確かめること、入力と出力を絞ることです。権限を最小にすることや、高リスクな操作に人の承認を挟むことも、並んでいます。
ただし、完全な仕組みではありません。OWASPは、プロンプトインジェクションを確実に防ぐ方法は知られていないと述べ、AIを信頼できない利用者として扱うよう添えています。LLM02は、指示でデータの種類を制限しても、回避される場合があると述べています。
ジェイルブレイクとの関係は、用語ページにあります。AIを組み込む機能の確認はAI・LLM診断で扱っています。
なぜガードレールが大事なのですか?
AIの出力は多く、人がすべてを見張ることはできません。出てよい範囲を、仕組みとして先に決めておけば、誤りや乗っ取りが起きたときの被害を、小さく抑えられます。
運営者としては、まず、AIに触れさせない情報と、実行させない操作を決めます。そのうえで、出力や入力を確かめる仕組みを、後から足します。順番が逆になると、足した仕組みを回避されたとき、守るものが何も残りません。
効き目の確認には、攻撃者の目線で試す検査が役立ちます。AIレッドチーミングで説明しています。外から見える状態は、無料URLチェックでも確かめられます。
関連する言葉
- ジェイルブレイク:AIにかけられた制限を、言葉の工夫で回避させる手口です。
- AIレッドチーミング:攻撃者の目線で、AIの弱点を試して探す検査です。
次の一手
AIに触れさせない情報と、実行させない操作を、まず決めてください。そのうえで、入力と出力を確かめる仕組みを選びます。点検の観点はAI・LLM診断にあります。外から見える状態は無料URLチェックで、設計の相談は無料相談で受け付けています。
よくある質問
ガードレールがあれば、AIの問題は起きませんか?
起きないとは言えません。OWASPは、プロンプトインジェクションを確実に防ぐ方法は知られておらず、対策は被害を小さくするためのものだと述べています。ガードレールは、権限の絞り込みなどと組み合わせます。
ガードレールには、どんな方法がありますか?
OWASPは、AIの役割と範囲を指示で決めること、出力の形をプログラムで確かめること、入力と出力を絞ることを挙げています。AI事業者ガイドラインは、不適切な出力などの危険を最小限にする方法として、ガードレール技術等を例に挙げています。
よくある質問
ガードレールがあれば、AIの問題は起きませんか?
起きないとは言えません。OWASPは、プロンプトインジェクションを確実に防ぐ方法は知られておらず、対策は被害を小さくするためのものだと述べています。ガードレールは、権限の絞り込みなどと組み合わせます。
ガードレールには、どんな方法がありますか?
OWASPは、AIの役割と範囲を指示で決めること、出力の形をプログラムで確かめること、入力と出力を絞ることを挙げています。AI事業者ガイドラインは、不適切な出力などの危険を最小限にする方法として、ガードレール技術等を例に挙げています。