執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
AIレッドチーミングとは、攻撃者の目線で、AIの弱点を試して探す検査です。NISTの生成AI向け資料は、AIの望ましくない動きや結果、それが起きうる経緯を見つけ、安全のための仕組みに負荷をかけて確かめる、発展途上の取り組みと説明しています。
AIレッドチーミングはどんな仕組み?
建物の防犯を点検するとき、設計者とは別の人が、侵入者になったつもりで、鍵や窓の弱いところを探す場面に似ています。AIでは、攻撃者になったつもりで、AIに予想外の動きをさせられないかを試します。
NISTによると、こうした演習は、管理された環境で、AIを作る側と協力して行われることが多く、AIが公開される前にも後にも行えます。同じ資料は、結果の質が、実施するチームの背景や専門性に関係するとも述べています。
国内では、AIセーフティ・インスティテュート(AISI)が、「AIセーフティに関するレッドチーミング手法ガイド」を2024年9月に公開しました。2025年3月31日公表の第1.10版は、RAGを実装したAIシステムに実際に実施した手順と、結果の文書を加えた、と案内されています。RAGは、社内資料を検索してAIの回答に使う仕組みです。
AI機能の確認はAI・LLM診断で扱います。弱点の一つはプロンプトインジェクションにあります。
なぜAIレッドチーミングが大事なのですか?
AIは、同じ質問にも毎回少し違う答えを返すため、決まった手順の検査だけでは、問題に気づきにくい面があります。攻撃者の目線で多様に試す方法が、補う役割を持ちます。
AI事業者ガイドライン(総務省・経済産業省)が参照する広島プロセスの国際行動規範は、レッドチーミング等の評価方法を組み合わせて、内部と外部の多様なテストを採用するよう示しています。OWASPのプロンプトインジェクションの資料も、AIを信頼できない利用者として扱い、定期的に攻撃を模擬することを対策に含めています。
自社でAIを作る場合に限らず、既製のAIを組み込む場合でも、組み込み方の確認は要ります。範囲と進め方は、目的に応じて決めます。外から見える状態は無料URLチェックで確かめられます。
関連する言葉
- レッドチーム:攻撃者の役を演じて、組織の守りを試すチームです。
- ペネトレーションテスト:実際に侵入を試みて、弱点を見つける検査です。
次の一手
AIを組み込んだ機能がある場合は、試したい観点を先に書き出してください。点検の範囲はAI・LLM診断にまとめています。外から見える状態は無料URLチェックで、進め方の相談は無料相談で受け付けています。
よくある質問
レッドチーミングを行えば、AIの安全は保証されますか?
保証にはなりません。NISTは、AIのレッドチーミングを、発展途上の取り組みと位置づけています。結果の質は、実施するチームの背景や専門性に左右されるとも述べています。あくまで、弱点を見つける手段の一つです。
通常の脆弱性診断との違いは何ですか?
通常の診断は、サイトやシステムの既知の弱点を調べます。AIのレッドチーミングは、AIが予想外の動きや望ましくない出力をしないかを、攻撃者の目線で試す点が特徴です。AI以外の診断と組み合わせて使います。
よくある質問
レッドチーミングを行えば、AIの安全は保証されますか?
保証にはなりません。NISTは、AIのレッドチーミングを、発展途上の取り組みと位置づけています。結果の質は、実施するチームの背景や専門性に左右されるとも述べています。あくまで、弱点を見つける手段の一つです。
通常の脆弱性診断との違いは何ですか?
通常の診断は、サイトやシステムの既知の弱点を調べます。AIのレッドチーミングは、AIが予想外の動きや望ましくない出力をしないかを、攻撃者の目線で試す点が特徴です。AI以外の診断と組み合わせて使います。