生成AIを組み込んだシステムを発注するとき、開発会社から「プロンプトインジェクション対策は入れています」と説明されることがあります。ですが、どの対策を、どこまで入れているのかが分からないと、その説明を比べることも、足りない部分を見つけることもできません。入力の言葉を見張るフィルターだけを指していることもあります。

この記事では、プロンプトインジェクション対策を、重ねる層ごとに整理します。英国のNCSC(国家サイバーセキュリティセンター)のブログ、OpenAIの解説、総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」で確認できる内容をもとに、各層で何を期待してよく、何は期待できないのかと、開発会社に確認する項目を説明します。攻撃の仕組みそのものは、プロンプトインジェクションとは何かを、仕組みと発注側の備えとして解説した記事で扱っています。

この記事のポイント

  1. 対策は、完全に防ぐことを目指すのではなく、複数の層を重ねて、被害と影響を小さくする考え方で組み立てる
  2. 層は、権限と動作の設計、入出力と外部データの検証、システムプロンプト、記録と監視、人の承認の5つ
  3. 入力の拒否リストだけでは、言い換えを防げない。「止められる」とうたう製品や説明にも注意する
  4. 開発会社には、どの層を実装し、何を実装しないのかを、書面で出してもらう
目次
  1. プロンプトインジェクション対策で重ねる5つの防御層
  2. 対策は「防ぐ」より「被害を小さくする」と考える
  3. 層ごとの対策と、期待してよい効果
  4. 入力の拒否リストだけでは足りない理由
  5. 外部の文書やメールを読むAIに必要な対策
  6. プロンプトインジェクション対策を開発会社に依頼するときの確認点
  7. 提案書で層ごとに確認する項目
  8. 「止められる」という説明への向き合い方
  9. 納品後の運用と見直しを決めておく
  10. よくある質問
  11. 総括:プロンプトインジェクション対策で決めること

プロンプトインジェクション対策で重ねる5つの防御層

大きさの違う5枚の盾が前後に重なり、5つの防御層を表したイラスト
対策は、5つの層に重ねて考えます

対策の説明を読むときは、まず、どんな層があるのかの全体像を持っておくと、足りない層に気づけます。この章では、対策の考え方と、層ごとの内容、拒否リストの限界、外部の文書を読むAIの注意点を説明します。

対策は「防ぐ」より「被害を小さくする」と考える

NCSCは、プロンプトインジェクションを、SQLインジェクションと同じ考え方で扱うと、対策の前提を誤るとしています。SQLインジェクションは、パラメータ化クエリによって、入力が命令として実行されることを根本的に防げます。一方、大規模言語モデル(LLM)の内部には、命令とデータを区別する仕組みがなく、プロンプトインジェクションは、完全には緩和できないかもしれないとしています。そのため、目指すのは攻撃の防止ではなく、リスクと影響の低減だと述べています。

総務省のガイドラインも、AIの性質上、対策を実装しても、脅威を完全に排除することは困難だとしています。OpenAIも、敵対的な攻撃への堅牢性は、機械学習の長年の課題で、未解決の問題だとし、自社でも安全訓練、監視、製品の保護機能など、複数の層を重ねる方法をとっていると説明しています。つまり、3つの出典は、ひとつの対策で完全に防ぐのではなく、層を重ねて、残るリスクを管理するという点で一致しています。

層ごとの対策と、期待してよい効果

公開されている資料から、対策を5つの層に整理します。右の2列は、各層に何を期待し、何は期待できないかを、私が整理したものです。

重なった層に3本の矢印が当たり、2本は止まり1本が通り抜ける様子で、層ごとの効果を表したイラスト
層を重ねても、すべては止められません
層 主な内容(出典) 期待してよいこと 期待できないこと
1. 権限と動作の設計 AIや連携部分の権限を必要最小限にする(総務省)。AIの出力を受けて動く部分を、AI以外の決まった仕組みで制約する(NCSC) 指示を乗っ取られても、できる操作の範囲が限られ、被害が広がらない 不正な指示が混ざること自体を、防ぐことはできない
2. 入出力と外部データの検証 ガードレールで、入力、外部の参照データ、出力を検証し、不正な指示や意図しない情報を見つけたら、削除や拒否をする(総務省) 典型的な不正な指示や、出してはいけない情報の流出を、減らせる 言い換えられた指示や、未知の手口を、すべて見つけることはできない
3. システムプロンプト 制約事項や注意事項を設定する。APIキーなどの機密情報を、直接書かない(総務省) 意図しない出力を抑え、設定が引き出されても、機密が漏れない状態にできる 設定した制約を、AIが必ず守るとは限らない
4. 記録と監視 入出力、ツールの使用、API呼び出しを記録し、不審な動きを見つける(NCSC)。監査ログを保存する(総務省) 攻撃の兆候に気づき、あとから経緯を調べられる 記録だけでは、攻撃を止められない
5. 人の承認と利用者の運用 購入やメール送信など影響の大きい操作の前に、確認を求める。AIが使える機密データを絞り、指示を具体的にする(OpenAI) 重大な操作が、AIの判断だけで実行されることを防げる 承認する人が確認を怠ると、効果がなくなる

1つ目の層が、最も重要です。NCSCは、LLMシステムが、本質的に混乱させられやすいと理解することが大切だとし、LLMへの入力を防ぐことより、AI以外の仕組みでシステムの動作を制約することに重点を置くべきだとしています。ほかの層は、この設計を補う位置づけです。

入力の拒否リストだけでは足りない理由

対策として、「ignore previous instructions(以前の指示を無視せよ)」のような、既知の不正な文を検知して遮断する方法を、最初に思いつく人は多くいます。NCSCは、このような拒否リスト型の方法には注意が必要だとしています。同じ意味の言い換えは、無限に作れるためです。

総務省のガイドラインは、入力プロンプトの検証について、不正な指示を検知したら、プロンプトの一部を削除して無害化する、または処理を拒否する、といった措置を挙げています。こうした検証は、被害を減らすために有効ですが、これだけを対策として説明されている場合は、他の層が入っているかを確認する必要があります。

OpenAIは、AIを使った自動の監視を、安全訓練を補う層として導入し、新しく見つかった攻撃を素早く止められるようにしていると述べています。つまり、検知の仕組みは、一度作って終わりではなく、更新し続けるものとして扱われています。更新の体制があるかも、開発会社に確認する点になります。

外部の文書やメールを読むAIに必要な対策

AIがメールや文書、Webページを読んで動く場合、そこに隠された指示が、攻撃の入口になります。NCSCは、採用担当向けのシステムが、応募者の履歴書を読んで採点する例を挙げ、隠しテキストで指示を仕込まれると、データが命令として扱われると説明しています。

対策として、NCSCは、LLMがある相手の情報を処理するとき、そのLLMが持つ権限は、その相手の権限まで下がるという考え方を紹介しています。外部の不特定多数から届くメールを処理するAIに、重要な操作の権限を与えてはいけない、ということです。総務省のガイドラインは、外部参照データに不正な指示が含まれていないかを検証することと、AIに、入力プロンプトと外部参照データを明確に区分させ、外部参照データに高い注意を払わせることを挙げています。

OpenAIは、AIエージェントに「メールを確認して必要な対応をする」のような大まかな指示を出すと、隠された悪意のある内容に誤誘導されやすくなるとし、特定の指示を与え、広い裁量を与えないほうが安全だとしています。ただし、これで攻撃が起きなくなるわけではなく、攻撃者が成功しにくくなるという位置づけです。

プロンプトインジェクション対策を開発会社に依頼するときの確認点

開発会社の担当者から提案書を受け取る発注側の担当者を描き、対策を依頼するときの確認点を表したイラスト
提案書は、層ごとに確かめて受け取ります

層が分かったら、開発会社の提案に当てはめます。この章では、提案書で確認する項目、「止められる」という説明への向き合い方、運用と見直しを説明します。

提案書で層ごとに確認する項目

開発会社には、5つの層ごとに、実装の有無と内容を、一覧にして出してもらいます。次の表は、質問と、答えの見方の例で、私が整理したものです。

提案書に付箋が貼られ、層ごとの確認項目にチェックが付く様子を表したイラスト
提案書では、層ごとの項目を見ます
確認する層 質問 具体的に答えられる例 注意が必要な答え
権限と動作 AIにできる操作は何か。外部の文書を読むAIに、重要な操作の権限を与えているか 操作ごとの権限の一覧と、AI以外の確認の仕組みを示す 「AIが判断するので安全です」
入出力と外部データの検証 何を、どこで検証し、見つけたらどうするか。検知の更新は誰が行うか 検証の対象、見つけたときの処理、更新の担当を示す 「最新のフィルターを入れています」だけ
システムプロンプト 機密情報を、設定に直接書いていないか APIキーなどを、別に管理していると説明する 設定の内容を、確認させない
記録と監視 何を記録し、誰が、どのくらいの頻度で見るか 入出力とツールの使用の記録、確認の担当、確認の頻度を示す 記録はあるが、見る人が決まっていない
人の承認 送信、削除、支払いなどの前に、人の確認が入るか 確認が入る操作の一覧と、承認する担当を示す すべての操作を、自動で実行する

答えに「実装していない」が含まれていても、それだけで問題とは限りません。大切なのは、実装しない層について、代わりの対策や、残るリスクの説明があるかどうかです。この表の項目を発注の条件にするなら、全10章のRFP(提案依頼書)テンプレートの非機能要件の欄に追記すれば、各社に同じ条件で提案してもらえます。

「止められる」という説明への向き合い方

NCSCは、プロンプトインジェクションを「止める」とうたう製品やサービスには、注意が必要だとしています。代わりに、その製品が、どのようにリスクを低減するのかを説明できる提供者を選ぶべきだとしています。製品は単独で完全に防ぐものではなく、組織が、設計と運用を通じて、リスクを管理する必要があるとも述べています。

この考え方は、開発会社の説明にも当てはまります。「防止できます」「対策済みです」という言葉ではなく、どの層で、何を、どこまで減らすのかを、説明してもらってください。減らせないリスクがある場合は、それをどう扱うのかも、あわせて説明してもらってください。

納品後の運用と見直しを決めておく

対策は、納品して終わりではありません。NCSCは、攻撃者が手口を磨く可能性が高いため、失敗したツール呼び出しやAPI呼び出しを検知して対応することで、攻撃の初期段階に気づけるかもしれないと述べています。総務省のガイドラインは、基盤モデルに変更があった段階や、AIが新たな学習をした段階などで、対策の見直しが必要だとしています。

カレンダーと円を描く矢印と歯車を描き、納品後の運用と見直しを表したイラスト
納品後も、見直しをくり返します

契約や運用の取り決めに、次の点を入れておきます。

  • 記録を見る担当と頻度、不審な動きがあったときの連絡先
  • 検知の仕組みを更新する担当と、費用の負担
  • 基盤モデルの変更や新たな学習のときに、対策を見直す手順
  • 納品前と、大きな変更のあとに、診断で対策が機能しているかを確かめること

診断で調べる項目と、外注先の確認条件は、生成AIのセキュリティ診断とは何かを、検査項目と外注先の見極め方として解説した記事に整理しています。対策の優先度の決め方は、AIシステムのセキュリティ評価で、発注前に確認する項目と進め方を解説した記事が参考になります。

よくある質問

Q. 対策を重ねれば、プロンプトインジェクションは防げますか?
A. 層を重ねると、被害を小さくし、成功しにくくできますが、完全に防げるとは言えません。NCSCも、完全には緩和できないかもしれないとしています。残るリスクを、事業として受け入れられるかどうかも、判断に含めてください。
Q. 社内だけで使うAIでも、対策は必要ですか?
A. 必要です。社内向けでも、AIが外部から届くメールや、社外の人が書いた文書を読む場合は、そこに指示が隠れるおそれがあります。AIが読む情報の出どころと、AIにできる操作を、確認してください。
Q. 対策の費用は、どれくらいですか?
A. システムの構成や、実装する層の数で大きく変わるため、一般的な金額は示せません。権限の設計と、人の承認の仕組みは、要件の段階で決めると、後から追加するより、手戻りを減らせると考えられます。
Q. 利用者側でできる対策はありますか?
A. あります。OpenAIは、AIが使える機密データや認証情報を、タスクに必要な範囲に絞ること、AIが確認を求めたときに、内容を慎重に確かめること、具体的な指示を出すことを挙げています。社内の利用ルールに入れておくと、運用で守りやすくなります。