AIを組み込んだシステムを発注するとき、開発会社から「セキュリティは対策済みです」と言われても、何をどこまで確かめればよいのかが分からないことがあります。評価の進め方が決まっていないと、説明を受けても、比べることも、納得することもできません。

この記事では、AIシステムのセキュリティ評価を、発注前に進める手順として整理します。総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」や、AISI(AIセーフティ・インスティテュート)の資料で確認できる考え方をもとに、何を評価し、どう優先順位をつけ、開発会社に何を出してもらうかを説明します。

この記事のポイント

  1. 評価は、データの流れを描き、想定する脅威を決めて、対策の実装状況を確かめる順に進める
  2. 対策の優先度は、脅威の影響の大きさと、発生する可能性で決める
  3. 対策を実装しても脅威は完全には排除できないため、残るリスクを受け入れられるかも判断する
  4. 納品前には、診断やレッドチーミングで、対策が機能しているかを確かめる
目次
  1. AIシステムのセキュリティ評価で見る観点
  2. 評価とは対策が機能しているかを確かめること
  3. データの流れと想定する脅威を整理する
  4. 影響の大きさと発生の可能性で優先度をつける
  5. 残るリスクを受け入れられるかを判断する
  6. AIシステムのセキュリティ評価を発注前に進める手順
  7. 評価を進める5つの手順
  8. 対策の実装状況を確認する観点
  9. 検証の方法と結果の読み方
  10. 評価の結果と見直しを契約に残す
  11. よくある質問
  12. 総括:AIシステムのセキュリティ評価で決めること

AIシステムのセキュリティ評価で見る観点

天秤の一方にAIの箱、もう一方に盾を載せ、対策が機能しているかを確かめる評価を表したイラスト
評価とは、対策が機能しているかを確かめることです

評価というと、診断を受けて点数をつけることを思い浮かべがちです。ですが、診断の前に決めておくことがあります。この章では、評価で見る観点を3つに分けて説明します。

評価とは対策が機能しているかを確かめること

AIシステムのセキュリティ評価とは、想定する脅威に対して、必要な対策が実装されていて、実際に機能しているかを確かめる作業です。対策の有無だけでなく、機能しているかまで確かめる点が、ポイントです。

総務省のガイドラインは、AIに対する脅威のリスクを低減するために、現時点で取りうる一般的な対策例を整理しています。そのうえで、レッドチーミングによって、AIシステムへの脅威を特定し、対策の有効性を確認していくことも重要だとしています。レッドチーミングとは、攻撃者の立場で、システムの弱点を試す検証です。評価は、対策を決める段階と、効果を確かめる段階の両方を含みます。

データの流れと想定する脅威を整理する

ガイドラインは、AIシステムのセキュリティを確保するには、システムにおけるデータの流れと、主に想定される脅威、対策を、明らかにすることが必要だとしています。評価の最初の作業は、データの流れを図にすることです。

入力からAI、出力、保存へのデータの流れの途中3か所に注意マークが付き、想定する脅威を整理したイラスト
データの流れのどこが狙われるかを、整理します

ガイドラインが示す代表的な構成では、利用者が入力した指示(プロンプト)が、入力を検証する仕組み(ガードレール)を通って、AIの処理を管理する部分(オーケストレータ)に渡されます。オーケストレータは、必要に応じて、社内文書を検索するRAGや、外部のシステムと連携して、大規模言語モデルに情報を渡します。モデルが作った回答は、出力を検証する仕組みを通って、利用者に返ります。どの経路に、どの対策が入っているかを、開発会社に図で示してもらいます。

影響の大きさと発生の可能性で優先度をつける

すべての脅威に同じだけの対策をとることは、現実的ではありません。ガイドラインは、対策を講じるべき脅威を特定するときに、脅威の影響の大きさと、脅威が発生する可能性の2つを考慮するとしています。用途によって、事故が起きたときの影響の性質や範囲が違い、外部との接続の有無や、利用者の属性によって、事故の起きやすさが違うからです。

この2つの軸を、発注するAIの特徴に当てはめると、次のように整理できます。

見る点 確認すること 優先度が上がる例
公開範囲 社内だけで使うか、社外の人も使うか 社外の不特定の人が入力できる
外部との接続 Webや外部のシステム、メールを読むか 外部の情報を読んで、答えや操作に使う
扱う情報 どんな情報を参照し、出力しうるか 顧客の個人情報や、営業秘密を参照できる
AIにできる操作 情報を返すだけか、他のシステムを操作するか 送信、削除、更新などの操作ができる

ガイドラインが示す想定事例では、社内向けのチャットボット(RAGを利用)は、社内のデータの取り出しや、データストア内のファイルを経由した攻撃が、主な懸念です。社外向けのチャットボット(外部連携を利用)は、システムの指示の盗み出しや、過大な処理を要求するDoS攻撃、外部のWebページに隠された指示が、主な懸念として示されています。

残るリスクを受け入れられるかを判断する

ガイドラインは、対策を実装しても、AIの性質上、脅威を生じさせる要因を完全に排除することは困難だとしています。英国のNCSCも、プロンプトインジェクションは完全には緩和できないかもしれず、リスクと影響を減らす方向で考える必要があると述べています。そのうえで、システムの安全性が、残るリスクに耐えられないのであれば、生成AIの使い道として適していない場合もある、としています。

つまり、評価には、対策が十分かの確認だけでなく、残るリスクを、事業として受け入れられるかの判断が含まれます。この判断は、開発会社ではなく、発注側が行います。

ガイドラインは、脅威に関する責任の所在を決める趣旨ではないと明記しています。残るリスクを、誰が、どこまで負うのかは、契約で決めることになります。評価の結果と一緒に、責任の分け方も書面に残してください。

AIシステムのセキュリティ評価を発注前に進める手順

広げた道のりの図の横に担当者が立ち、旗を指さして、評価を発注前に進める手順を確かめるイラスト
評価は、発注前に手順を決めて進めます

観点が決まったら、手順に沿って進めます。この章では、手順と、実装状況の確認項目、検証の方法、結果の残し方を説明します。

評価を進める5つの手順

発注前の評価は、次の5つの手順で進めます。

5つの丸が線でつながり、3つ目まで進んだ様子で、評価を進める5つの手順を表したイラスト
評価は、5つの手順で進めます
  1. データの流れと構成の図を、開発会社に出してもらう
  2. 公開範囲、外部接続、扱う情報、AIにできる操作から、想定する脅威と優先順位を決める
  3. 想定する脅威に対する対策の実装状況を、項目ごとに確認する
  4. 納品の前に、診断やレッドチーミングで、対策が機能しているかを確かめる
  5. 運用を始めたあとの、見直しのきっかけと担当を決める

ガイドラインの想定事例(社内向けと社外向けのチャットボット)を、自社のAIに当てはめ、近いほうの攻撃シナリオと対策を、手順の2つ目と3つ目の出発点にすると、ゼロから考えるより早く進められます。

手順の2つ目までは、発注前に、開発会社の提案を受ける段階で行えます。ここが決まっていないと、見積もりの比較も、対策の過不足の判断もできません。

対策の実装状況を確認する観点

3つ目の手順で確認する項目を、ガイドラインが示す対策に沿って整理します。各項目は、実装の有無と、その範囲を聞きます。

観点 確認すること ガイドラインの対策
入出力と外部データの検証 入力、外部の参照データ、出力を、どこで検証し、検知したらどうするか ガードレール等による検証
権限の管理 AIと連携部分の権限は必要最小限か。RAGの参照権限は、利用者や役割で分かれているか オーケストレータやRAG等の権限管理(最小権限の原則)
システムプロンプトの扱い APIキーなどの機密情報を、直接書いていないか システムプロンプトによる不正な指示への耐性の向上
ログと負荷への備え 監査ログを保存しているか。アクセス数の上限があるか 監査ログの保存、レートリミットの導入
構成要素の信頼性 基盤モデルの作成者が開示している情報を、確認しているか システムの構成要素の信頼性の確認

対策の内容の詳細は、AIセキュリティのガイドラインを、総務省とIPAの資料の使い分けとして解説した記事で整理しています。扱うデータによっては、ファインチューニングなどに使う学習データに、出力を意図しない機密情報が含まれていないかや、データの出所の確認も重要になります。

検証の方法と結果の読み方

4つ目の手順は、対策が機能しているかの検証です。ガイドラインは、AIセーフティの達成度合いを確かめるツールやデータセットとして、AISIの「AIセーフティ評価ツール」と、国立情報学研究所の「AnswerCarefully」を挙げています。AISIの評価ツールには、セキュリティ確保に関するデータセットも含まれているとされています。

診断結果の用紙に虫眼鏡を当て、検証の結果を読む様子を表したイラスト
検証の結果は、見るところを決めて読みます

攻撃者の立場での検証としては、AISIの「AIセーフティに関するレッドチーミング手法ガイド」があります。攻撃者の視点でAIシステムへの攻撃を企画し、攻撃結果の評価をもとに、脅威の低減や改善につなげる手順を整理したものです。ガイドラインは、社内向けのチャットボットの想定事例について、このガイドを参照できるとしています。

検証の結果は、指摘の数ではなく、内容で読みます。見つかった弱点の再現手順があるか、どの対策が機能しなかったのか、修正後に、再度確認したかを確かめてください。診断の方式の違いと、診断会社に確認する項目は、AIを使った脆弱性診断とは、手動診断との違いと選び方を解説した記事に整理しています。

評価の結果と見直しを契約に残す

評価の結果は、点数や合否ではなく、何を想定し、何を実装し、何が残ったかの記録として残すのが基本です。記録があれば、見直しのときに、前回との違いを比べられます。

評価は、一度行って終わりではありません。ガイドラインは、基盤モデルに変更があった段階や、AIが新たな学習をした段階などで、対策の見直しが必要だとしています。頻度を一律に示すことは困難で、システムの目的や用途、コストとの関係を考えて、決めるとされています。

発注側は、評価の結果と、見直しのきっかけ、担当、費用の負担を、契約と要件に残しておきます。次の項目を書いておくと、運用を始めたあとの行き違いを避けられます。

  • 想定した脅威と、その優先順位の根拠
  • 実装した対策の一覧と、検証の結果
  • 残るリスクと、発注側が受け入れる範囲
  • 基盤モデルの変更や新たな学習のときの、見直しの手順と費用の負担

全体像を確認したい場合は、AIセキュリティで守る3つの対象を整理した記事が参考になります。各社の「対策済み」の説明を同じ基準で比べたいときは、ベンダー選定比較表テンプレート(10カテゴリ100項目)に上の確認項目を追記すると、候補の開発会社を同じ表で並べて比べられます。

よくある質問

Q. 評価は、開発会社に任せてもよいですか?
A. 実施は任せてもかまいませんが、判断は発注側が行います。特に、残るリスクを受け入れるかどうかは、事業の都合に関わるため、開発会社だけでは決められません。評価の結果は、書面で受け取り、内容を確認してください。
Q. 診断を受けていれば、評価は終わりですか?
A. 終わりではありません。診断は、対策が機能しているかを確かめる手順の一つで、データの流れの整理や、想定する脅威の優先順位づけは、診断の前に決めておく必要があります。診断の範囲に、AIが外部の情報を読む場面や、権限の設計が含まれているかも確認してください。
Q. 評価にかかる費用は、どれくらいですか?
A. 評価の範囲や方式で大きく変わるため、一般的な金額は示せません。見積もりを依頼するときは、データの流れの図、想定する脅威、検証の範囲を、同じ条件で複数社に示して、比べてください。
Q. AIエージェントを含むシステムでも、同じ手順でよいですか?
A. 総務省のガイドラインは、AIエージェントを対象外としていて、エージェントに特有の脅威や対策は、確定が難しいとしています。手順の考え方(データの流れ、優先順位、検証)は使えますが、AIに持たせる権限と、人の承認の設計を、通常より慎重に確認してください。