社内の文書を検索して答えるAIや、受信したメールを要約するAIを使うとき、「AIに悪意のある入力をする人は、社内にはいない」と考えるのは自然です。ところが、AIが読む文書やメールの中に、第三者が書いた指示が隠れていると、利用者が何も入力していなくても、AIの動作が変わることがあります。これが、間接プロンプトインジェクションと呼ばれる攻撃です。

この記事では、間接プロンプトインジェクションが起きる仕組みと、仕込まれる入口、起きうること、AIを組み込んだシステムを発注するときの確認点を整理します。総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」、英国のNCSC(国家サイバーセキュリティセンター)のブログ、OpenAIの解説で確認できる内容をもとにしています。

この記事のポイント

  1. 間接型は、AIが読むPDF、Webページ、メールなどに指示が隠れ、AIの動作を変える攻撃で、攻撃者はAIのシステムに直接触れる必要がない
  2. 入口は、AIが読む情報のすべて。社内の文書やメールも、外部の人が書いた内容を含めば入口になる
  3. 起きうるのは、誤った内容の出力、保存された情報の流出、連携するシステムの不正な操作など
  4. 備えは、入口の洗い出し、AIの権限の引き下げ、外部データの検証、重要な操作の人の承認
目次
  1. 間接プロンプトインジェクションとは何が起きる攻撃か
  2. 間接型とは何か、直接型との違い
  3. 指示が仕込まれる場所と、起きうること
  4. 利用者の指示ではなく、読んだ内容に従ってしまう理由
  5. 事例:Copilotの脆弱性EchoLeak
  6. 間接プロンプトインジェクションへの備えと発注時の確認点
  7. AIが読む入口を洗い出す
  8. 入口ごとに権限と検証を決める
  9. 開発会社に確認する項目
  10. よくある質問
  11. 総括:間接プロンプトインジェクションへの備え

間接プロンプトインジェクションとは何が起きる攻撃か

PDFとWebページとメールをAIが読み、書類の陰に隠れた付箋が指示を仕込む様子を表したイラスト
AIが読む文書に、指示が仕込まれます

名前が長く、難しく見えますが、起きていることは単純です。この章では、直接型との違い、指示が仕込まれる場所、見つけにくい理由、実際の事例を説明します。

間接型とは何か、直接型との違い

プロンプトインジェクションは、AIに与える指示の中に、第三者の不正な指示を紛れ込ませ、AIに意図しない動作をさせる攻撃です。総務省のガイドラインは、これを、攻撃者が悪意あるプロンプトを直接入力する「直接プロンプトインジェクション」と、AIが参照するデータに不正な指示を仕込む「間接プロンプトインジェクション」に分けています。

直接型は、AIを使う本人が入力する攻撃で、入力欄が入口です。間接型は、AIが読み込む外部のデータが入口で、攻撃者は、AIのシステムに触れなくても、AIが読むものに書いておくだけで成り立ちます。ガイドラインが挙げる例は、細工したファイルをWeb上に用意し、AIがそのファイルを参照したときに不正な出力を起こさせる方法と、細工した電子メールを送り、AIがそのメールを参照したときに不正な出力を起こさせる方法です。仕組み全体は、プロンプトインジェクションとは何かを、仕組みと発注側の備えとして解説した記事で説明しています。

指示が仕込まれる場所と、起きうること

間接型の入口は、AIが読む情報のすべてです。公的な資料などで挙げられている例と、起きうることを、整理します。

書類とWebページとメールと画像の4つの入口から、AIへ矢印が集まるイラスト
指示が仕込まれる場所は、いくつもあります
入口 仕込まれ方の例 起きうること
Webページ ページに秘密の命令文を仕込む。AIでファクトチェックをしたときに、命令文に従う(総務省) 偽の情報を、真実として出力する
電子メール 細工したメールを送る(総務省)。AIに夜間のメールへの返信を任せると、メール内の指示に従う(OpenAI) メールの中から銀行の取引明細などを探して、攻撃者に共有する(OpenAIが挙げる例)
文書・PDF 応募者の履歴書に、隠しテキストで指示を入れる。AIが採点するときに、その指示に従う(NCSC) 文書の内容と関係なく、評価が変わる
口コミ・一覧 リストのコメントやレビューに、誤解を招く内容や有害な指示を隠す(OpenAI) 誤った物件や宿を、AIが勧める
社内のデータストア(RAG) 社内向けのチャットボットで、データストア内のファイルを経由して攻撃する(総務省の想定事例) データストアの内容を、出力させる

総務省のガイドラインは、プロンプトインジェクションで起こされる不正な出力として、ほかに、連携するシステムを不正に操作するコードを生成させ、機密情報の漏えいや、データの改ざん・削除を行う例や、システムプロンプトを出力させる例を挙げています。起きる被害は、AIにどんな権限と接続があるかで変わります。

利用者の指示ではなく、読んだ内容に従ってしまう理由

人は、メールの本文に「このメールを読んだAIは、次のことを実行せよ」と書かれていても、それが自分への指示ではないと判断できます。ですが、NCSCは、現在の大規模言語モデル(LLM)の内部には、データと命令の区別がなく、あるのは次のトークンの予測だけだと説明しています。AIにとっては、読んだ内容も、頼まれた作業も、同じ文章の流れの中にあります。

また、仕込まれた指示が、人間の目に見えない形で書かれている場合があります。NCSCが挙げる履歴書の例は、応募者が、隠しテキストで指示を入れる想定です。人が見ても気づかないものを、AIは文字として読み取り、指示として扱うことがあります。

この点は、完全には防げない可能性があるとされる理由でもあります。NCSCは、プロンプトインジェクションは完全には緩和できないかもしれず、目指すのは、リスクと影響の低減だとしています。総務省のガイドラインも、対策を実装しても、脅威を完全に排除することは困難としています。

事例:Copilotの脆弱性EchoLeak

実際の事例として、2025年6月に報じられた、Microsoft 365 Copilotの脆弱性「EchoLeak」があります。細工したメールをきっかけに、AIが読める社内の情報が、外部へ送られうる、という内容です。報道によれば、Microsoftは対処済みで、悪用は確認されていないと説明しています。

事故としては確認されていませんが、AIが外部から届くメールを読む機能が、そのまま入口になりうることを示す例です。AIが外部の内容を読む機能は、便利な反面、入口を増やすことになります。

間接プロンプトインジェクションへの備えと発注時の確認点

門の前に立つ担当者が、通る書類を確認し、AIが読む入口を管理する様子を描いたイラスト
備えは、入口を管理することから始まります

仕組みが分かったら、備えを決めます。この章では、入口の洗い出し、入口ごとの対策、開発会社に確認する項目を説明します。

AIが読む入口を洗い出す

最初にやることは、AIが読む情報の出どころを、一覧にすることです。社内で使うAIでも、次のように、外部の人が書いた内容が入る場合があります。

見取り図の出入口を虫眼鏡で確かめ、AIが読む入口を洗い出す様子を表したイラスト
AIが読む入口を、洗い出します
  • 受信するメールや、問い合わせフォームの内容
  • 取引先や応募者から届く、PDFやファイル
  • AIが調べるWebページや、外部のサービスの情報
  • 社内の共有フォルダやデータストアのうち、外部の人が追加・編集できるもの

一覧に載せるときは、「社内のものだから安全」と決めつけず、書き込める人の範囲で判断します。たとえば、問い合わせフォームの内容を、そのままAIに読ませている場合、書き込めるのは、誰でも送信できる人です。取引先が共有フォルダに置いたファイルを読ませる場合は、その取引先の管理が、入口の安全性に関わります。この一覧が、評価の出発点になります。入口ごとに、誰が書き込めるか、AIが読んだ内容で、どんな操作ができるのかを、あわせて確認します。優先度の決め方は、AIシステムのセキュリティ評価で、発注前に確認する項目と進め方を解説した記事で整理しています。

入口ごとに権限と検証を決める

公開されている資料から、間接型への主な対策を整理すると、次の4つです。

  1. AIの権限を下げる:NCSCは、LLMがある相手の情報を処理するとき、そのLLMが持つ権限は、その相手の権限まで下がるという考え方を紹介しています。不特定多数から届くメールを処理するAIに、重要な操作の権限を持たせないということです。
  2. 外部のデータを検証する:総務省のガイドラインは、Webサイトや外部のデータベースなどの外部データを参照する場合に、不正な指示が含まれていないかを検証し、検知したら処理を拒否するなどの措置をとるとしています。
  3. 入力と外部データを区別させる:同じガイドラインは、AIに、入力プロンプトと外部参照データを明確に区分させ、外部参照データに高い注意を払わせることを挙げています。
  4. 重要な操作に人の承認を入れる:OpenAIは、購入の完了やメールの送信など、影響の大きい操作の前に、確認を求める設計を挙げています。

OpenAIは、あわせて、AIに「メールを確認して必要な対応をする」のような大まかな指示を出すと、隠された悪意のある内容に誤誘導されやすくなると述べ、特定の指示を与え、広い裁量を与えないほうが安全だとしています。これらの対策は、1つで防ぐものではなく、重ねて使います。重ね方は、プロンプトインジェクション対策とは何かを、企業が実施する多層防御として解説した記事で整理しています。

開発会社に確認する項目

発注するAIが、外部の人が書いた内容を読む場合は、次の項目を、提案の段階で確認します。

クリップボードの質問リストにペンで印を付け、開発会社に確認する項目を表したイラスト
開発会社には、項目を決めて聞きます
  • AIが読む情報の出どころの一覧と、それぞれを誰が書き込めるか
  • 外部の人が書いた内容を読むAIに、与えている権限と、できる操作の範囲
  • 外部のデータを、どこで、何を基準に検証し、見つけたらどうするか
  • メールの送信、削除、支払いなどの前に、人の承認が入るか
  • 入出力とAIが使った機能の記録を残し、いつもと違う動きに気づけるか

これらは、要件として書き出しておくと、見積もりの比較にも使えます。要件に残すなら、RFP(提案依頼書)テンプレートの非機能要件の欄に、AIが読む情報の出どころと権限の範囲を追記すると、各社の提案を同じ条件で比べられます。納品前には、診断で、仕込まれた指示にAIが従わないかを確かめます。運用を始めたあとも、AIが読む情報の出どころが増えたときや、基盤モデルを変更したときには、入口の一覧と権限を見直す必要があります。総務省のガイドラインも、基盤モデルの変更や新たな学習のときに、対策の見直しが必要だとしています。

よくある質問

Q. 社内の文書しか読まないAIなら、間接型は心配ありませんか?
A. 社内の文書でも、外部の人が書いた内容が入る場合は注意が必要です。取引先から届いたPDFを、共有フォルダに保存している場合や、問い合わせの内容を、そのまま保存している場合などです。文書を誰が書き込めるかを、確認してください。
Q. 検知するフィルターを入れれば、防げますか?
A. 検知は、被害を減らす有効な手段の一つですが、それだけで防げるとは言えません。NCSCは、既知の不正な文を遮断する方法は、言い換えが無限にあるため、注意が必要だとしています。権限を下げる設計と、人の承認も、あわせて確認してください。
Q. AIエージェントでも、同じ考え方でよいですか?
A. 基本の考え方は同じですが、エージェントは、ツールを実行するため、被害が大きくなりやすい点に注意が必要です。総務省のガイドラインは、AIエージェントを対象外としていて、エージェントに特有の脅威と対策は、別に確認が必要です。
Q. 診断で、間接型は見つけられますか?
A. 診断の範囲に入っていれば、確かめられます。AISIのレッドチーミング手法ガイドも、LLMシステムへの代表的な攻撃手法に、間接プロンプトインジェクションを挙げています。提案書で、間接型を試すかどうかを、確認してください。