生成AIを組み込んだシステムを発注すると、開発会社や診断会社から「セキュリティ診断を実施します」と提案されることがあります。ただ、診断の名前が同じでも、何を調べ、どこまで試し、何を報告するのかは、会社によって違うことがあります。内容を確かめないまま依頼すると、受けたはずの診断で、気になっていた点が調べられていなかった、ということも起こりえます。

この記事では、生成AIのセキュリティ診断で調べる検査項目と、外注先を見極めるときに確認する条件を整理します。AISI(AIセーフティ・インスティテュート)の「AIセーフティに関するレッドチーミング手法ガイド」(第1.10版)と、総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」で確認できる内容をもとにしています。

この記事のポイント

  1. 診断で調べるのは、AIを狙う攻撃(不正な指示、設定の引き出し、過大な負荷など)に、対策が機能するか
  2. 検査項目は、AISIが挙げる攻撃手法を出発点に、自社のシステムの公開範囲や外部接続に合わせて選ぶ
  3. 外注先には、内部情報の与え方、実施する環境、実施の方式、AIに詳しい担当の有無を確かめる
  4. 報告書は、再現できる証跡、改善の優先度、改善後の再確認があるかで見る
目次
  1. 生成AIのセキュリティ診断で調べる検査項目
  2. 生成AIのセキュリティ診断は何を調べるのか
  3. AISIが挙げる攻撃手法と検査項目
  4. 自社のシステムに合わせて項目を選ぶ
  5. 生成AIのセキュリティ診断を外注するときの見極め方
  6. 診断の条件として確認する4つの点
  7. 本番環境で行うときの取り決め
  8. 報告書で確認する項目
  9. 依頼の前に発注側で決めておくこと
  10. よくある質問
  11. 総括:生成AIのセキュリティ診断で決めること

生成AIのセキュリティ診断で調べる検査項目

虫眼鏡でAIのチャット画面を拡大して調べ、生成AIのセキュリティ診断を表したイラスト
診断では、AIの使われ方を点検します

診断を依頼する前に、何が検査項目になるのかを知っておくと、提案の抜けに気づけます。この章では、診断の対象と、検査項目の一覧、自社に合わせた選び方を説明します。

生成AIのセキュリティ診断は何を調べるのか

生成AIを組み込んだシステムには、2種類の弱点があります。一つは、画面やAPIなど、通常のWebシステムと同じ弱点です。もう一つは、AIの性質に由来する弱点で、不正な指示に従ってしまう、設定した指示を引き出される、といったものです。生成AIのセキュリティ診断という名前で提案される内容は、前者だけの場合も、後者を含む場合もあるため、範囲の確認が欠かせません。

AISIのレッドチーミング手法ガイドは、レッドチーミングを「攻撃者がどのようにAIシステムを攻撃するかの観点で、AIセーフティへの対応体制及び対策の有効性を確認する評価手法」としています。対象は、大規模言語モデル(LLM)を構成要素とするAIシステムです。診断サービスの名称が「診断」でも「レッドチーミング」でも、確認したいのは、攻撃者の立場で試したときに、対策が機能するかどうかです。

なお、AIを使って脆弱性診断を効率化するサービスは、ここで扱う診断とは別の話です。AIを使った診断の方式と、診断会社に確認する項目は、AIを使った脆弱性診断とは、手動診断との違いと選び方を解説した記事にまとめています。

AISIが挙げる攻撃手法と検査項目

AISIのガイドは、LLMシステムへの代表的な攻撃手法として、次の8つを挙げています。総務省のガイドラインは、主な脅威として、直接・間接のプロンプトインジェクションと、DoS攻撃を挙げています。右の列は、発注側が診断の提案を読むときの見方で、私が読み替えたものです。

左の4つの図形と右の4つのチェックボックスが線で結ばれ、攻撃手法と検査項目の対応を表したイラスト
攻撃手法ごとに、検査項目が対応します
攻撃手法 内容(AISIの説明) 診断で確かめること
直接プロンプトインジェクション 悪意あるプロンプトを、AIシステムに直接入れる 入力欄から不正な指示を入れても、禁止した動作や情報の出力が止まるか
間接プロンプトインジェクション 悪意あるプロンプトを、間接的に入れる AIが読む文書やWebページに仕込まれた指示に、従わないか
プロンプトリーキング 設定されたシステムプロンプトを引き出す 設定を引き出されないか。設定の中に、機密情報を書いていないか
ポイズニング攻撃 細工したデータやモデルを、訓練時に紛れ込ませる 学習に使うデータやモデルの入手元と、混入を防ぐ管理があるか
回避攻撃 入力に悪意ある変更を加え、意図しない動作を起こす 画像など、文字以外の入力を扱う場合に、誤った動作をしないか
モデル抽出攻撃 入出力の分析で、同等の性能のモデルを作る 大量の問い合わせで、挙動を写し取られないか。回数の上限があるか
メンバーシップ推論攻撃 あるデータが、訓練データに含まれるかを特定する 自社のデータを学習させた場合に、含まれているかを推測されないか
モデルインバージョン攻撃 訓練データに含まれる情報を復元する 学習させた情報が、出力から復元されないか
DoS攻撃(総務省のガイドライン) 過大な処理を要求して、サービスを止める 過大な要求を受けたときに止まらないか。利用の上限があるか

この表を、診断会社の提案書と見比べます。提案書に、どの攻撃手法を試すかが書かれていない場合は、聞いてください。「AI特有の項目も含みますか」という質問だけでは、答えが曖昧になりがちなので、表の項目名を挙げて、含まれるかを一つずつ確認すると確実です。

自社のシステムに合わせて項目を選ぶ

9項目すべてを、同じ深さで調べる必要があるかどうかは、システムによって変わります。AISIのガイドは、システム構成、AIセーフティの評価観点、保護すべき情報資産、システムの利用形態の4つから、リスクシナリオを作り、そこから具体的な攻撃シナリオを作るとしています。つまり、検査項目は、自社のシステムの形から決まります。

たとえば、社外の人が使う窓口のAIなら、不正な指示と設定の引き出し、過大な負荷が、まず気になる項目です。社内の文書を検索して答えるAIなら、参照できる文書の範囲と、文書に仕込まれた指示が重要です。自社のデータを学習させている場合は、学習データに関する項目も加わります。優先順位のつけ方は、AIシステムのセキュリティ評価で、発注前に確認する項目と進め方を解説した記事で整理しています。

特に多い入口である、プロンプトインジェクションの仕組みと、発注側の備えは、プロンプトインジェクションとは何かを、仕組みと発注側の備えとして解説した記事で説明しています。

生成AIのセキュリティ診断を外注するときの見極め方

診断会社の担当者がAIの箱を点検し、発注側の担当者が見守る様子を描いたイラスト
診断を外注するときは、見極める点があります

検査項目が分かったら、外注先に何を確かめるかを決めます。この章では、診断の条件、実施するときの取り決め、報告書の見方、依頼前に決めておくことを説明します。

診断の条件として確認する4つの点

AISIのガイドは、レッドチーミングをいくつかの切り口で分類しています。この分類は、そのまま、外注先に確認する条件になります。

時計と地球と鍵と書類の4つのアイコンが並び、診断の条件として確認する4つの点を表したイラスト
診断の条件は、4つの点で確認します
確認する点 選び方(AISIの分類) 発注側の見方
内部情報の与え方 ブラックボックス(内部構造を未知)/ホワイトボックス(既知)/グレーボックス(一部既知) どこまで情報を渡して診断するかを、決めてもらう。情報を渡すほど、深く調べられる場合がある
実施する環境 実運用環境/ステージング環境/開発環境 本番で試すのか、本番に近い環境で試すのかを確かめる
実施の方式 自動化ツール/手動/AIエージェントを用いたもの どの方式で、どの項目を試すのかを聞く。自動と手動の役割を分けているかを見る
実施する時期 リリースや運用開始の前。運用開始後も、必要に応じて随時 初回の時期と、再実施のきっかけを、あらかじめ決めておく

表の右の列のうち、「情報を渡すほど深く調べられる場合がある」は、私の見方です。AISIのガイドが示すのは分類で、どれを選ぶべきかは、システムの目的や、診断にかけられる費用との兼ね合いで決まります。

実施体制についても、ガイドは、攻撃を計画して実施する人と、AIシステムに関連する有識者を、レッドチームに含めることを基本として想定しています。診断会社に、AIの仕組みに詳しい担当が入るかを、確認してください。

本番環境で行うときの取り決め

診断を本番に近い環境や、本番環境で行う場合は、診断自体が、システムの動作や運用に影響するおそれがあります。AISIのガイドは、準備の段階で、実施環境の準備を行い、関係者に事前連絡をすることを示しています。必要に応じて、監視設定の一時的な解除や、監視対象からの除外、アラートの無視などを、事前に周知したうえで依頼するとしています。

あわせて、予期しない動作や障害が起きた場合に備えて、エスカレーションフローを確認しておくこと、実施後には、診断用の一時アカウントを削除し、変更した防御策の設定を戻すことが示されています。発注側は、次の点を、診断会社と決めておきます。

  • 診断を行う日時と、連絡する関係者(自社の担当、運用を委託している会社)
  • 診断中に監視やアラートを止める場合の、範囲と期間
  • 想定外の動作や障害が起きたときの、連絡先と中止の判断者
  • 診断用のアカウントや設定を、終了後に元へ戻す手順と、確認の担当

運用を委託している会社が別にある場合は、診断の日程と、監視の扱いを、その会社にも共有してもらいます。

報告書で確認する項目

診断の成果は、報告書で受け取ります。AISIのガイドは、実施結果の報告書について、発見された脆弱性をもとに、ログや証跡を揃えて示すこと、事実の誤認がないかを関係者がレビューすること、改善策は緊急度やリスクの度合いに応じて優先度を検討することを示しています。改善策の実施後は、対策の設定状況の確認やドキュメントのレビュー、必要に応じた再度の実施で、脆弱性が改善されたかを確認することが望ましいとされています。

棒グラフとチェックが並ぶ報告書の見開きを描き、報告書で確認する項目を表したイラスト
報告書で、確認する項目を決めておきます

これを、報告書を受け取るときの確認項目にすると、次のようになります。

  • 見つかった弱点ごとに、再現できる手順と、ログなどの証跡が付いているか
  • どの攻撃手法を、どの環境で、どの方式で試したかが、書かれているか
  • 試していない項目と、その理由が、書かれているか
  • 改善策に、緊急度や影響度に応じた優先度が付いているか
  • 改善後の再確認が、診断の範囲に入っているか。入っていない場合は、別の見積もりになるか

指摘の数が少ないことは、安全を意味しません。試した範囲が狭ければ、指摘も少なくなります。範囲と、試していない項目の記載を、必ず確認してください。

依頼の前に発注側で決めておくこと

診断会社の提案を、同じ条件で比べるためには、依頼する側で、次の4点を決めておく必要があります。

  1. 診断するシステムの範囲(AIの部分だけか、画面やAPI、連携先を含むか)
  2. データの流れと、AIにできる操作の整理(検査項目を選ぶ材料になる)
  3. 実施する環境と時期、診断中に影響を受ける関係者
  4. 見つかった弱点を、誰が、いつまでに直すか(診断を受ける側の対応体制)

1つ目と2つ目は、見積もりの前提になります。ここが決まっていないと、会社ごとに範囲が違う見積もりが集まり、比べられません。候補の会社を同じ基準で比べたいときは、ベンダー選定比較表テンプレート(10カテゴリ100項目)にこの記事の確認項目を追記すると、各社の提案を同じ表で並べて比べられます。診断の前提となる、データの流れの整理と優先順位づけは、先に挙げた評価の記事で説明しています。

よくある質問

Q. 生成AIのセキュリティ診断は、通常の脆弱性診断とは別に必要ですか?
A. 通常の脆弱性診断が、画面やAPIなど、Webシステムとしての弱点を対象にしている場合、AI特有の攻撃手法は含まれないことがあります。両方を依頼するのか、一つの診断に含めるのかは、提案書の範囲と、検査項目の一覧で確かめてください。
Q. 診断の費用は、どれくらいですか?
A. 範囲、環境、方式、報告書の内容で大きく変わるため、一般的な金額は示せません。同じ範囲と条件を複数社に示して、見積もりの内訳を比べてください。
Q. 一度診断を受ければ、安心ですか?
A. AISIのガイドは、レッドチーミングは一度実施して完了ではなく、必要に応じて随時実施することが望ましいとしています。総務省のガイドラインも、基盤モデルの変更や、新たな学習をしたときに、対策の見直しが必要としています。再実施のきっかけを、契約や運用の取り決めに入れておいてください。
Q. 診断を受けたことを、安全の保証として説明してよいですか?
A. 診断は、ある時点に、決めた範囲と方法で試した結果です。総務省のガイドラインも、対策を実装しても、脅威を完全に排除することは困難としています。「診断済み」ではなく、「いつ、どの範囲を、どの方法で調べたか」で説明してください。