画像の読み取り、通話の要約、写真つきの問い合わせ対応など、AIに画像や音声を扱わせる機能を、システムに加えたいという相談が増えています。テキストに加えて、画像や音声なども一度に扱うAIが、マルチモーダルAIです。便利になる一方で、「画像や音声に何かを仕込まれたら、どうなるのか」という不安が出てきます。この記事では、OWASP、Trail of Bits、NVIDIA、学術論文などの公表資料をもとに、マルチモーダルAIのセキュリティを、画像や音声が指示の入口になる仕組み、研究で確認された攻撃の例、決めておく対策、開発会社に確認する点の順に整理します。2026年10月23日時点の公表資料にもとづいています。

この記事のポイント

  1. 画像や音声、スキャンした書類の中にある文字や信号も、AIは指示として読んでしまうことがある。人の目には見えない形で入ることもある
  2. 研究では、画像の縮小で現れる指示でデータが送られた例や、自然画像に埋め込んだ指示で最大64%の成功などが報告されている。ただし、特定のモデルと条件での実験で、実際の被害の発生率ではない
  3. 文字だけの検査では足りない。文字・画像・音声の3つがそろったときだけ働く例も報告されている。守りは、入力を絞る、出口の権限を絞る、重い操作に人の承認を入れる、の3つが軸になる
  4. 発注では、受け付ける入力の種類、画像や音声の前処理、モデルが見る内容の確認、操作の承認、ログを書面で確認する
目次
  1. マルチモーダルAIのセキュリティで先に知ること
  2. 画像・音声・書類が指示の入口になる
  3. 研究で確認された攻撃の例
  4. 公表された数字の読み方
  5. マルチモーダルAIのセキュリティ対策で決めること
  6. 入口:受け付ける入力と前処理を絞る
  7. 出口:画像や音声の指示で操作させない
  8. 文字の検査だけでは足りない
  9. 開発会社に頼むときの確認点
  10. よくある質問
  11. 総括:マルチモーダルAIのセキュリティと発注の判断軸

マルチモーダルAIのセキュリティで先に知ること

吹き出しの形のAIに、画像、音声、書類、文字の4つの入力が、それぞれ別の形の入口からつながる様子を表した線画イラスト
画像や音声も、AIにとっては指示の入口になりうる

最初に、画像や音声のどこが入口になるのか、研究で何が確認されているのか、公表された数字をどう読むのかを整理します。ここがそろうと、対策を決める順番がはっきりします。

画像・音声・書類が指示の入口になる

テキストのプロンプトインジェクションは、AIへの指示に、第三者が不正な命令を混ぜる攻撃です。マルチモーダルAIでは、その命令を混ぜる場所が、画像や音声にも広がります。AIは、読み取った内容を、利用者の指示と区別しにくいためです。入口になる場面と例を、次の表にまとめます。

入力 AIが読むもの 入口になる例
画像(写真・スクリーンショット) 画像の中の文字や模様 薄い色や小さな文字で、AIへの指示が書き込まれている
縮小された画像 システムが縮小した後の画像 元の大きさでは見えないが、縮小すると指示が現れる
音声 録音の中の声や音 人には普通の音に聞こえるが、AIには指示として働く(研究での確認)
書類(PDF・スキャン) 書類の中の文字や画像 取引先から届いた資料に、指示が混ざっている
カメラの映像 カメラが映した看板や紙 看板に書かれた指示に、ロボットや車が従う(研究での確認)

OWASPは、LLMアプリの脆弱性をまとめた「LLM01:2025 プロンプトインジェクション」で、マルチモーダルの注入を、独立した例として挙げています。攻撃者が、無害な文章に添える画像の中に悪意のある指示を埋め込み、AIが画像と文章を同時に処理すると、AIの動きが変わるという例です。OWASPは、マルチモーダルに特有の防御は、今後の研究が必要な領域だとも書いています。外部の資料や画像を経由して指示が入る仕組みは、間接プロンプトインジェクションとは?PDF・Webに潜む危険の記事で整理しています。

研究で確認された攻撃の例

画像や音声を使う攻撃は、2023年ごろから論文として公表されています。今回確認できた主な資料を、表にまとめます。どれも、研究者が用意した条件での実験です。

出典 対象 確認された内容
Bagdasaryanらの論文(2023年) LLaVa、PandaGPT 画像や音声に、指示に対応する微小な加工を混ぜると、利用者が普通に質問しただけで、攻撃者が決めた文章が出力され、その後の会話も攻撃者の指示に沿う。概念実証
Nagarajaらの論文(2025年の国際会議。arXivは2026年3月) GPT-4-turbo、COCOの画像 自然画像に、人の目に目立たないよう指示の文字を埋め込む。12の戦略を試し、隠す条件のもとで、最も効果的な設定は最大64%の成功
Trail of Bits(2025年8月21日) Gemini CLI、Vertex AI Studio、Geminiのウェブ画面とAPI、Google Assistant、Genspark 画像を縮小すると指示が現れる攻撃。Gemini CLIでは、外部ツールの呼び出しを自動で承認する設定と組み合わせて、カレンダーのデータが攻撃者のメールへ送られた
Clusmannらの論文(Nature Communications、2025年2月) Claude-3 Opus、Claude-3.5 Sonnet、GPT-4o、Reka Core(594件の攻撃) 医用画像に、人の目に見えにくい指示を入れると、病変を見落とす出力が出る。攻撃の成功率は、モデルにより33%から67%
NVIDIA AI Red Team(2026年9月21日) Gemma4 E4B(手元で動かせるモデル) 文字・画像・音声の3つがそろったときだけ、狙った出力になる例。2つや1つでは働かない
CHAI(UC Santa Cruzなどの研究。IEEE SaTML採択) ドローンの緊急着陸、自動運転、物体の追跡、実機のロボット車両 看板のような、物理環境の中の文字で、AIの判断を誘導する

音声については、2023年のBagdasaryanらの論文が概念実証を示しました。一方、Trail of Bitsは、音声AIが加える攻撃面を、今後の課題として挙げています。今回読んだ資料の中心は画像で、音声は、画像ほど研究が集まっていないように見えます。

公表された数字の読み方

表の数字を、そのまま「自社のシステムで起きる確率」と読むと、判断を誤ります。読むときの注意が、3つあります。

  • 条件が限られている。たとえば、NVIDIAの例は、特定のモデル、プロンプト、入力の順番、保存した画像と音声での観察で、すべてのマルチモーダルモデルが同じだとは、NVIDIA自身が書いていません
  • モデルは入れ替わる。Nature Communicationsの論文は、2024年9月にClaude-3系などへ送った結果です。後継のモデルで同じ数字になるとは言えず、同じ論文の中でも、モデルによって成功率が大きく違います
  • 実際の被害の件数ではない。今回読んだ資料の範囲では、画像や音声に仕込んだ指示による、実際の被害の公表は確認できませんでした

それでも、2023年の概念実証から、画像の縮小、複数の入力の組み合わせ、物理環境へと、研究の範囲は広がっています。実際の被害が確認できないことは、安全の証明ではありません。発注するときは、「起きうるもの」として、入口と出口を決めておくのが現実的です。

マルチモーダルAIのセキュリティ対策で決めること

入口で入力を絞る、AIの処理、出口で権限と承認を絞る、という3つの段階が、点線の矢印でつながる様子を表した線画イラスト
入口と出口の両方で、守りを重ねる

画像や音声に仕込まれた指示を、すべて見つけて止めることは、いまの技術では約束できません。そのため、仕込まれても被害が広がらないように、入口と出口の両方で守りを重ねます。

入口:受け付ける入力と前処理を絞る

入口では、AIに渡る画像や音声を、必要なものだけに絞ります。決めておくことは、次のとおりです。

  • 受け付ける種類と形式。画像だけでよいなら、音声は受け付けない。業務に要らない入力は、機能ごと外す
  • 画像や音声の大きさの上限。Trail of Bitsは、縮小で指示が現れる攻撃を避けるため、画像を縮小せず、アップロードできる寸法を制限することを勧めています。縮小の方式を選んで防ぐやり方は、確実ではないと書いています
  • モデルが実際に見ている内容を、利用者が確認できること。Trail of Bitsは、縮小や変換をするなら、モデルに渡る入力のプレビューを、CLIやAPIでも示すよう勧めています。画面に元の画像が出ていても、モデルが見ているのは別の画像、ということが起きうるためです
  • 入力の出どころ。社内の人が撮った写真か、社外から届く画像や音声かで、扱いを分ける

Trail of Bitsの資料は、Weaponizing image scaling against production AI systemsで読めます。

出口:画像や音声の指示で操作させない

入口を絞っても、すべては防げません。そこで、AIが読み取った内容によって、重い操作が実行されないようにします。Trail of BitsのGemini CLIの例では、外部ツールの呼び出しを自動で承認する設定が、データを送り出す一因になりました。画像の中の文字は、確認なしに、重い操作を始められないようにすべきだと、Trail of Bitsは書いています。

  • AIが持つ権限は、読み取りだけで足りるか。書き込み、送信、削除まで持たせていないか
  • 外部への送信、購入、権限の変更など、取り消しにくい操作は、人の承認を必ず挟むか
  • 承認の画面に、何を実行するのかが分かる形で表示されるか
  • 診断や判断を出す機能では、出力を人が確認する手順があるか。Nature Communicationsの論文は、医用画像でも、指示を入れると見落としが増えることを示しています

権限の絞り方は、AIエージェントのプロンプトインジェクション対策と権限設計を解説の記事で詳しく説明しています。

文字の検査だけでは足りない

入力のうち、文字だけを検査する対策は、画像や音声には届きません。NVIDIAは、複数の入力を同時に扱うモデルでは、入力の組み合わせの数が増えると説明しています。入力がM種類あるとき、考えるべき組み合わせは、2のM乗から1を引いた数です。文字・画像・音声の3種類なら、7通りになります。チャンネルごとに検査をしても、組み合わせでだけ現れる動きは、見つからない可能性があります。NVIDIAは、そのことを、文字・画像・音声の3つがそろったときだけ狙った出力になる例で示しました。ただし、この例は、モデルの内部の情報を使って作られた、特定のモデルでの観察で、すべてのモデルが同じだという主張ではありません。

AIに、AIを見張らせる対策も、確かではありません。Nature Communicationsの論文では、「倫理的に答える」という指示を足す方法と、別のAIに最初の回答を点検させる方法を試しました。結果は、4つのうち3つのモデルで、どちらも成功しませんでした。Claude-3.5 Sonnetだけは、倫理の指示で、成功率が64.8%から27.8%に下がりました。AIの判断に頼る対策は、使うモデルで効果が変わります。入口と出口の守りと組み合わせた、多層の対策にする考え方は、プロンプトインジェクション対策とは?企業が実施する多層防御を解説の記事にまとめています。

開発会社に頼むときの確認点

画像や音声を扱う機能を外注するときは、次の6項目を、書面で確認してください。要件として文書に残しておくと、見積もりと検収の基準にもなります。RFP(提案依頼書)の全10章の雛形の、非機能要件と提案依頼事項の章に、そのまま書き込めます。

  • 受け付ける入力の種類、形式、大きさの上限
  • 画像や音声への前処理(縮小、変換、文字の読み取り)と、モデルに渡る内容を確認できる画面や記録
  • 画像、音声、文字を組み合わせた入力でのテストの範囲。単独の入力だけでなく、組み合わせも対象にするか
  • 画像や音声の内容から始まる操作の権限と、人の承認を入れる操作の一覧
  • 入力、モデルが読み取った内容、出力、実行した操作のログの保存期間と、自社への共有の方法
  • モデルや設定を変えたときの、再テストの範囲と費用

よくある質問

Q. 通話の要約など、音声だけのシステムなら、心配は少ないですか?
A. 少ないとは言えません。2023年の論文は、音声に仕込む概念実証を示しています。ただし、今回読んだ資料の中心は画像で、音声は研究が少ない領域です。考え方は、画像と同じです。受け付ける音声の出どころを絞り、音声の内容だけで重い操作が実行されないようにします。
Q. 画像を受け付けないのが、いちばん安全ですか?
A. 入力を絞ることは、有効な対策のひとつです。ただし、業務に必要な機能まで捨てることになるため、受け付ける範囲と、出口の権限の両方で、リスクと便益を比べて決めてください。
Q. テストで、すべての攻撃を見つけられますか?
A. 見つけられるとは言えません。入力の組み合わせは多く、モデルを入れ替えれば結果も変わります。テストの結果は、「見つからなかった」であって、安全の証明ではありません。出口の権限と承認の設計を、テストと別に確認してください。