メールを読んで返信案を作る、Webで調べて資料にまとめる、社内のシステムを操作して申請を出す。AIエージェントは、こうした作業を、人に代わって実行します。便利な反面、プロンプトインジェクションで不正な指示が混ざったときに、起きることが、文章の誤りでは済まなくなります。メールが送られる、ファイルが外部へ共有される、といった実際の操作になるからです。

この記事では、AIエージェントのプロンプトインジェクション対策を、権限設計を中心に整理します。OpenAIの解説、英国のNCSC(国家サイバーセキュリティセンター)のブログ、総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」で確認できる内容をもとに、エージェントを発注するときに、何を決め、開発会社に何を確認するかを説明します。通常のAIシステムでの対策の考え方は、プロンプトインジェクション対策とは何かを、企業が実施する多層防御として解説した記事で扱っています。

この記事のポイント

  1. AIエージェントは、メール送信や購入などの操作を実行するため、同じ不正な指示でも、被害が操作に及ぶ
  2. 対策の中心は権限の設計。読めるデータ、できる操作、実行の条件を決め、影響の大きい操作に人の承認を入れる
  3. 外部の人が書いた内容を読むエージェントには、重要な操作の権限を与えない
  4. 総務省のガイドラインはAIエージェントを対象外としているため、確認項目を、発注側で決める必要がある
目次
  1. AIエージェントのプロンプトインジェクションで被害が大きくなる理由
  2. AIエージェントは「実行するAI」である
  3. 公開されている被害の例
  4. 完全には防げない前提で設計する
  5. AIエージェントのプロンプトインジェクション対策と権限設計の進め方
  6. 権限を3つに分けて決める
  7. 人の承認を入れる操作の決め方
  8. 実行環境の隔離と記録を決める
  9. 開発会社に確認する項目
  10. よくある質問
  11. 総括:AIエージェントのプロンプトインジェクションへの備え

AIエージェントのプロンプトインジェクションで被害が大きくなる理由

AIの箱から3本の線がメールとファイルとお金へ伸び、AIエージェントが実行できる範囲を表したイラスト
AIエージェントは、実行できる範囲が広い存在です

まず、通常のAIとエージェントで、何が違うのかを確認します。この章では、エージェントの位置づけ、公開されている被害の例、完全には防げないという前提を説明します。

AIエージェントは「実行するAI」である

総務省のガイドラインは、AIエージェントを、環境を知覚し、その環境について推論し、意思決定を行い、特定の目標を達成するために自律的に行動するAIシステムと説明しています(OWASPの定義の仮訳)。質問に文章で答えるだけのAIと違い、メールの送信、ファイルの操作、Webでの購入など、外部のシステムに働きかけます。

話すだけのAIと、操作を実行するAIを左右に並べて、その違いを表したイラスト
話すだけのAIと、実行するAIは別物です

同じガイドラインは、AIエージェントについて、技術が急激な発展の途上にあり、特有の脅威や対策を、安定的に確定することが現時点では困難なため、対象外としています。また、AIエージェントやMCP(AIと外部のツールをつなぐ仕組み)によって、AIシステムが複雑な連携を行い、自律性を増すなかで、新たな脅威が生じうることにも触れています。つまり、エージェントの対策は、公的な資料でも、まだ確立されていない部分があります。

公開されている被害の例

OpenAIは、プロンプトインジェクションの例として、AIエージェントに夜間に届いたメールへの返信を任せる場面を挙げています。攻撃者が、誤情報を含むメールを送っておくと、エージェントが、利用者がアクセスを許可したメールの中から、銀行の取引明細などを探し出し、攻撃者に共有してしまうおそれがある、という内容です。OpenAIは、AIがより機密性の高いデータにアクセスし、より主体的に、より長いタスクを引き受けるほど、リスクが増すとも述べています。

NCSCも、LLMの出力に基づいてツールやAPIを呼び出す仕組みでは、攻撃者がそれらを悪用でき、影響は、攻撃者にそのツールやAPIへの直接アクセスを与えた場合の、最悪のシナリオまで高まりうると説明しています。エージェントの被害は、与えた権限の大きさで決まる、と言い換えられます。

完全には防げない前提で設計する

NCSCは、プロンプトインジェクションは、完全には緩和できないかもしれないとし、目指すのは、リスクと影響の低減だとしています。OpenAIも、敵対的な攻撃への堅牢性は、未解決の問題だとしています。この前提に立つと、エージェントの対策は、「不正な指示を防ぐ」より、「不正な指示が混ざっても、起こせる被害を小さくする」ことが中心になります。

NCSCは、LLMへの入力を防ぐことだけでなく、AI以外の決まった仕組みで、システムの動作を制約することに重点を置くべきだとしています。その代表が、権限の設計です。

AIエージェントのプロンプトインジェクション対策と権限設計の進め方

3本の鍵を手にした担当者が、AIに与える権限を決める様子を描いたイラスト
権限は、鍵を分けるように決めます

エージェントの発注では、機能の一覧と並べて、権限の一覧を決めることになります。この章では、権限の決め方、人の承認を入れる操作、実行環境と記録、開発会社への確認項目を説明します。

権限を3つに分けて決める

エージェントの権限は、「読めるデータ」「できる操作」「実行の条件」の3つに分けると、決めやすくなります。次の表は、各項目の考え方で、右の列は、私が整理した設計の例です。

3つの扉に3色の鍵が差し込まれ、権限を3つに分けて決めることを表したイラスト
権限は、3つに分けて決めます
権限の種類 決めること 設計の例 根拠となる考え方
読めるデータ タスクに必要なデータと認証情報だけに絞る 調べるだけの作業では、ログインしない状態で動かす OpenAI:必要な機密データや認証情報にのみアクセスできるよう制限する。総務省:RAGの参照権限を、利用者や役割に応じて設定する
できる操作 ツールやAPIごとに、実行してよい操作を限る 「読む」「たたき台を作る」は許可し、「送信」「削除」「支払い」は別に扱う 総務省:オーケストレータなどの権限を必要最小限にする(最小権限の原則)。NCSC:AI以外の仕組みで動作を制約する
実行の条件 影響の大きい操作は、人の承認を条件にする 送信前に、宛先と内容を人が確認する OpenAI:購入の完了やメールの送信など、影響の大きい操作の前に、最終確認を求める

権限は、最初から広く与えず、段階的に広げる進め方も考えられます。これは私の提案です。たとえば、最初は「読む」と「たたき台を作る」までにし、記録を見て問題がないことを確かめてから、承認つきで「送信」を加えます。権限を広げるときの判断者と、確認する期間を、運用の取り決めに入れておくと、現場の判断で広がっていくことを防げます。

外部の人が書いた内容を読むエージェントについては、NCSCが紹介する考え方が参考になります。LLMがある相手の情報を処理するとき、そのLLMが持つ権限は、その相手の権限まで下がるという考え方です。不特定多数から届くメールを処理するエージェントに、重要な操作の権限を与えてはいけない、ということです。メールの要約と、メールへの返信の実行を、同じエージェントにさせるのか、分けるのかも、設計の判断になります。

人の承認を入れる操作の決め方

OpenAIは、自社のエージェントについて、購入の完了などの重要な手順の前に一時停止して確認を求めること、機密性の高いサイトで動作するときは、利用者が作業を見守ることを求める仕組みを紹介しています。発注するエージェントでも、どの操作の前に人の承認を入れるかを、あらかじめ決めておきます。

承認を入れる対象は、取り消しにくい操作と、外部に影響が出る操作から決めると、整理しやすくなります。次は、私が考える候補です。

  • 社外へのメールやメッセージの送信
  • ファイルやデータの削除、上書き
  • 支払い、購入、契約に関わる操作
  • ファイルの共有範囲の変更や、社外への共有
  • アクセス権限の変更

承認の仕組みは、承認する人が内容を確認して初めて意味を持ちます。OpenAIも、エージェントが確認を求めたときは、その行動が正しいか、共有される情報が適切かを、慎重に確認するよう利用者に求めています。承認の画面で、何が実行されるのかが分かる表示になっているかも、確認する点です。

実行環境の隔離と記録を決める

OpenAIは、AIがツールを使ってコードなどを実行するときに、プロンプトインジェクションによる有害な変更をモデルが行うことを防ぐために、サンドボックス化という手法を使っていると説明しています。サンドボックスは、外部から隔離された環境で動かす方法です。エージェントがコードやコマンドを実行する場合は、実行する環境を分けているかも、確認します。

点線の枠の中にAIの箱を隔離し、横に記録の巻物を置いて、実行環境の隔離と記録を表したイラスト
実行環境は、隔離して記録を残します

記録については、NCSCが、LLMの入出力、ツールの使用、API呼び出しを、可能な限り記録し、失敗したツール呼び出しやAPI呼び出しを検知して対応することで、攻撃の初期段階に気づけるかもしれないと述べています。総務省のガイドラインも、監査ログの保存によるトレーサビリティの確保を挙げています。エージェントでは、何を読み、どの操作を試みたかが、あとから追えることが、重要になります。

開発会社に確認する項目

エージェントの提案を受けたときは、次の項目を、書面で確認します。

  • エージェントが読めるデータと、使う認証情報の範囲
  • 実行できる操作の一覧と、操作ごとの権限(読む・たたき台・送信・削除・支払いなど)
  • 人の承認が入る操作と、承認する担当、承認画面の表示内容
  • 外部の人が書いた内容(メール、問い合わせ、Webページ)を読むかどうかと、読む場合の権限の下げ方
  • コードやコマンドを実行する環境の隔離と、入出力・操作の記録の保存期間
  • 想定外の操作が起きたときに、エージェントを止める手順と、連絡先

これらは、要件として書き出しておくと、複数社の提案を同じ条件で比べられます。要件に残すなら、RFP(提案依頼書)テンプレートの非機能要件の欄に、権限の一覧と承認の条件を追記すると、複数社の提案を同じ条件で比べられます。納品前には、診断で、仕込まれた指示にエージェントが従わないか、権限の範囲を超えた操作ができないかを確かめます。診断で調べる項目は、生成AIのセキュリティ診断とは何かを、検査項目と外注先の見極め方として解説した記事に整理しています。

AIが外部の文書やメールを読む入口の洗い出し方は、間接プロンプトインジェクションとは何かを、PDFやWebに潜む危険として解説した記事で説明しています。

よくある質問

Q. 人の承認を入れると、エージェントの意味がなくなりませんか?
A. すべての操作に承認を入れる必要はありません。読む、調べる、たたき台を作る、といった、取り消せる操作は自動にし、送信、削除、支払いなどの影響が大きい操作だけに承認を入れる、という分け方が考えられます。どこまでを自動にするかは、扱う情報と、起きたときの影響で決めてください。
Q. 社内のシステムだけを操作するエージェントなら、心配ありませんか?
A. 社内のシステムだけを操作する場合でも、読む情報に外部の人が書いた内容が含まれると、指示が混ざるおそれがあります。権限の範囲と、読む情報の出どころを、確認してください。
Q. 総務省のガイドラインに沿っていれば、エージェントも安全ですか?
A. 同じガイドラインは、AIエージェントを対象外としています。最小権限や、入力と外部データの検証、監査ログなどの考え方は参考になりますが、エージェント特有の脅威と対策は、別に確認が必要です。
Q. 診断では、エージェントの権限の範囲も確かめられますか?
A. 診断の範囲に入っていれば、確かめられます。診断を依頼するときに、エージェントがつながる操作の一覧を渡し、それぞれを試すかどうかを、提案書で確認してください。