生成AIを組み込んだシステムを開発会社に頼み、納品が近づくと、「プロンプトインジェクションへの耐性は、どうやって確かめるのか」という問いに行き当たります。診断を受けて、「脆弱性は見つかりませんでした」という報告が出ても、それだけで安全と言えるのか、判断に迷うところです。プロンプトインジェクションとは、AIへの指示に、第三者が不正な命令を混ぜる攻撃です。この記事では、プロンプトインジェクションの診断(耐性テスト)の結果を、検収でどう受け入れるかを説明します。英国AI安全研究所(UK AISI)が支援した大規模な攻撃の競技会と、Google DeepMindがGeminiの防御の評価でまとめた教訓をもとに、1回の成功や失敗では耐性を判定できない理由と、受入基準に入れる6項目、診断会社や開発会社に確認する点を整理します。

この記事のポイント

  1. プロンプトインジェクションへの耐性は、1回の成功や失敗では判定できない。大規模な競技会では、約180万回の攻撃のうち6万件超が成功し、その結果をもとに作った試験では、ほとんどのAIエージェントが、10〜100回の試行で、ほぼすべての項目で規則違反を起こした
  2. 固定のテスト集で通っても、攻撃を少し変えると破られることがある。Google DeepMindは、防御に合わせて攻撃を変える評価が欠かせないとしている
  3. 受入基準には、対象範囲、攻撃の種類と回数、成功の定義、再現性、誤検知、修正後の再テストの6項目を入れ、納品の前に合意する
  4. 「見つからなかった」は、安全の証明ではない。試した範囲と、残るリスクを書面で受け取り、受け入れるかどうかを、発注側が決める
目次
  1. プロンプトインジェクションの診断で分かることと限界
  2. 診断では何を試すのか
  3. 1回の成功や失敗では判定できない理由
  4. 固定のテスト集だけでは足りない理由
  5. プロンプトインジェクションの診断の結果を検収で受け入れる基準
  6. 受入基準に入れる6項目
  7. 「見つからなかった」は安全の証明ではない
  8. 診断から検収までの順番を決める
  9. 診断会社や開発会社に確認する6項目
  10. よくある質問
  11. 総括:プロンプトインジェクションの診断で決める受入基準

プロンプトインジェクションの診断で分かることと限界

1本の矢印は入口で止められるが、矢印が何本も重なると、一部が入口を通り抜けていく様子を表した線画イラスト
1回では止められても、回数が増えると破られることがある

最初に、診断で何を試し、何が分かって、何が分からないのかを整理します。ここがそろわないと、検収の基準も決められません。

診断では何を試すのか

プロンプトインジェクションの診断は、攻撃者の立場で、AIシステムに不正な指示を与え、規則を破らせられるかを試すものです。試す内容は、次の4つに分けると、検収の基準にしやすくなります。この分け方は、OWASPの資料と公表された事例をもとに、私がまとめたものです。

試すこと 破られたとみなす例
利用者の入力に不正な指示を混ぜる(直接型) 設定された規則を無視した回答や、禁止された内容が出る
AIが読む外部の情報に指示を混ぜる(間接型) メールや文書、Webページの中の指示に従って、意図しない動作をする
情報を外へ出させる 権限のない情報や、他の利用者の情報、指示文が、回答やリンクなどに出る
AIの操作を不正に使わせる 承認のない送信、書き込み、削除などの操作が実行される

試す項目のひな型としては、OWASPが2025年11月26日に公開した「OWASP AI Testing Guide」のバージョン1があります。AIシステムの信頼性を試すための、オープンな基準として公表されたものです。診断会社に、どの基準に沿って項目を作っているかを聞くと、診断の範囲が見えます。診断の検査項目と外注先の見極め方は、生成AIのセキュリティ診断の検査項目と外注先の選び方の記事で説明しています。

1回の成功や失敗では判定できない理由

耐性は、1回の試験の結果では決まりません。Gray Swan AIとUK AISIが2025年に公表した、AIエージェントを対象にした大規模な攻撃の競技会が、それを数字で示しています。約2,000人の参加者が、22の最先端のAIを使った44の場面に、約180万回の攻撃を行い、6万2千件超で、規則違反を引き出しました。

攻撃の種類 成功した割合
利用者の入力による攻撃(直接型) 5.7%
外部の情報による攻撃(間接型) 27.1%
全体 12.7%

1回ごとの成功率は、全体で12.7%でした。しかし、同じ項目を繰り返すと、状況が変わります。論文は、競技会で見つかった攻撃から選んだ4,700件の試験で、約10〜100回の攻撃を重ねると、ほとんどのAIが、ほぼすべての試した項目で規則違反を起こしたと報告しています。1回で止められたことは、100回目も止められることを意味しません。

この数字の読み方には、注意が必要です。競技会は、模擬の環境で、参加者が賞金をかけて攻撃した結果で、特定のシステムの確率ではありません。自社のシステムで同じ割合になるとは限りません。使える点は、数字そのものではなく、「回数と種類を変えて試さないと、耐性は分からない」ということです。

固定のテスト集だけでは足りない理由

もう1つの落とし穴は、あらかじめ用意した攻撃の一覧だけで試すことです。Google DeepMindは、防御を重ねて備える考え方とあわせて、Geminiの防御の評価で得た教訓をまとめた報告書で、次の点を挙げています。

  • 固定の評価の集合では通る防御も、攻撃を少し、巧みに変えると、破られることがある。防御に合わせて攻撃を変える評価が、現実に近い
  • 起こりうる攻撃をすべて数え上げることはできないため、本当に耐性があると言い切ることはできない。防御は、層を重ねる必要がある
  • 高性能なモデルが、必ずしも安全なわけではない。指示に従う力が高いと、攻撃されやすい場合がある
  • 評価は、情報の持ち出しの道が明確な、ツールを呼び出す場面など、実際の被害につながる場面に絞って行う

発注側が診断会社に確かめるのは、「既知の攻撃を一覧で試すだけか、その場で攻撃を変えながら試すか」です。前者だけなら、「一覧では通った」という結果にとどまります。

プロンプトインジェクションの診断の結果を検収で受け入れる基準

確認項目の一覧、受入を示す丸い印、修正後に試験を繰り返す循環する矢印の3つを表した線画イラスト
基準を決め、結果を確かめ、修正後は試験をやり直す

次に、診断の結果を、検収でどう受け入れるかを説明します。基準は、診断を頼む前、つまり発注のときに決めておくものです。納品の直前に決めると、結果に合わせた基準になりがちだからです。

受入基準に入れる6項目

項目 決めること 基準の書き方の例
対象範囲 試す入口、AIが持つ権限、外へ出せる宛先 AIが読む外部の情報の入口、AIが実行できる操作、外へ出せる宛先を、一覧にして、すべてを対象にする
攻撃の種類と回数 直接型、間接型、情報の持ち出し、操作の不正使用ごとの方法と回数 各項目で、試す回数の最低ラインと、攻撃を変える方法(自動と手動)を決める
成功の定義 何が起きたら「破られた」と数えるか 権限外の操作、情報の外部への送信、指示文の漏えい、禁止された内容の出力を、重大度つきで定める
再現性 結果を、あとから確かめられる形で記録する 入力、手順、環境、回数を記録し、第三者が同じ結果を再現できる
誤検知 入力の検知などの対策がある場合、正常な入力を誤って止める件数 誤って止めた件数も記録し、業務に支障がない水準かを決める
修正後の再テスト 見つかった指摘を直したあとの確認 重大な指摘は、修正後に、同じ条件と変えた条件で試し、結果を受け取るまで検収しない

合格のラインを、数字(成功率を何%以下にするか)で決めるかどうかは、業務の重要度で変わります。私は目安の数字を示せません。ただ、私の考えでは、権限外の操作と、情報の外部への送信は、成功が1件でも見つかれば、修正の対象にする、と決めておくほうが、実務では運用しやすくなります。成功率は、攻撃の回数と条件で大きく変わるためです。

「見つからなかった」は安全の証明ではない

診断の報告書に「脆弱性は見つかりませんでした」と書かれていても、その意味は、「試した範囲と回数では、見つからなかった」にとどまります。受け取るときは、次の3点を確かめます。

  • 試した範囲:どの入口、どの権限、どの出口を対象にしたか
  • 試した条件:攻撃の種類、回数、既知の攻撃だけか、その場で変えたか
  • 試していないこと:対象にしなかった項目と、その理由

試していないことが書かれていない報告書は、受け取るのを待ってください。そして、残るリスクを受け入れるかどうかは、開発会社ではなく、発注側が決めます。対策を実装しても、完全には防げない可能性があるとされているためです。納品物を承認する手順は、システム開発の検収で、発注側が確認することの記事で説明しています。

診断から検収までの順番を決める

診断は、納品の直前に1回だけ行うと、見つかった指摘を直す時間が足りなくなります。順番を、次のように決めておくと、検収が止まりにくくなります。

  1. 発注のときに、受入基準の6項目に合意し、契約書や仕様に書く
  2. 開発の途中で、AIが読む入口、権限、出口の一覧を更新し、診断会社へ渡す
  3. 診断を実施し、結果と記録を受け取る
  4. 見つかった指摘を、重大度の順に直す
  5. 修正後の再テストを行い、記録を受け取る
  6. 基準を満たしているかを確かめて、検収する

3から5までに、日数を見込んでおかないと、納品の期日に間に合わせるために、修正や再テストが省かれがちです。診断と再テストの日数を、開発のスケジュールに、最初から入れておいてください。基準を満たさないまま納品が迫ったときは、検収を延ばすのか、リスクを受け入れて機能を絞って公開するのかを、発注側が決めます。後者を選ぶ場合は、AIに持たせる権限を減らすなど、被害を小さくする条件を、書面に残してください。

診断会社や開発会社に確認する6項目

診断を頼むときと、納品された結果を受け取るときは、次の6項目を、書面で確認してください。

  • 攻撃の作り方:既知の攻撃の一覧を試すだけか、その場で変えながら試すか。自動と手動の割合
  • 試行の回数:項目ごとの回数と、上限の考え方
  • 成功の定義と、重大度のつけ方
  • 再現できる形の記録(入力、手順、環境)を、受け取れること
  • 修正後の再テストの回数と、費用が見積もりに含まれるか、別かどうか
  • 試した範囲、試していない範囲、残るリスクの記載

「耐性があります」という説明には、どの攻撃を、何回、どの条件で試したのかを、書面で示してもらってください。

よくある質問

Q. 診断で「問題なし」と出れば、安全ですか?
A. 安全とは言えません。診断は、試した範囲と回数での結果です。Google DeepMindは、起こりうる攻撃をすべて数え上げることはできないため、本当に耐性があると言い切ることはできないと述べています。試した範囲と、残るリスクを確かめてください。
Q. 自動のテストツールだけで、足りますか?
A. 目的で変わります。自動のツールは、回数を重ねるのに向きます。ただし、システム固有の入口や権限は、人が試す必要があります。診断会社に、自動と手動の割合と、それぞれが担う範囲を確かめてください。
Q. 診断は、どのくらいの頻度で受けるべきですか?
A. 一律の頻度はありません。私の目安としては、新しく公開するとき、AIが読む入口や操作を追加したとき、基盤のモデルを替えたときです。耐性は、これらで変わるためです。再テストの条件を、保守の契約に入れておくと、運用しやすくなります。