生成AIで情報が漏れた、という話を聞くたびに、自社でも起こりうるのか、何を決めておけばよいのかが気になります。事例は多く紹介されていますが、どこまでが公表された事実で、どこからが推測なのかは、記事ごとに曖昧なことがあります。

この記事では、生成AIのセキュリティ事故を、入力、サービス側の不具合、アカウント窃取、外部データ経由の不正指示の4つの原因に分け、公表された情報で確認できる事例だけを取り上げます。そのうえで、原因別の予防策と、外注先や社内のルールに落とすときの確認点を説明します。報道だけが根拠の事例は、そのことを明記します。

この記事のポイント

  1. 生成AIのセキュリティ事故は、入力、サービス側の不具合、アカウント窃取、外部データ経由の不正指示の4つに分けて学べる
  2. 事例は、公表された事実と推測を分けて読む。被害が確認されていない脆弱性は、事故と区別する
  3. 利用者が防げるのは入力とアカウントで、サービス側の不具合は、情報を預ける量を減らして備える
  4. 外注先の利用ツールと入力禁止情報は、書面で確認し、社内の利用ルールとそろえる
目次
  1. 生成AIのセキュリティ事故の事例を原因別に見る
  2. 事例は事実と推測を分けて読む
  3. サービス側の不具合で他の利用者の情報が見えた
  4. 入力した情報が社外へ渡った
  5. 利用者のアカウントが盗まれた
  6. 外部のデータに仕込まれた指示が情報を引き出す
  7. 生成AIのセキュリティ事故を防ぐ備え
  8. 原因別に見る予防策と確認点
  9. 外注先と委託先に確認すること
  10. 社内の利用ルールに落とし込む
  11. よくある質問
  12. 総括:生成AIのセキュリティ事故から学ぶ備え

生成AIのセキュリティ事故の事例を原因別に見る

書類の束から出る矢印、位置がずれて重なる2枚のカード、身分証カードにつながる矢印、封筒からはみ出すカードが並び、入力、サービス側の不具合、アカウント窃取、外部データ経由の指示の4つの原因を表したイラスト
生成AIの事故は、原因で分けると、備え方が見えてきます

生成AIの事故は、同じ「情報漏えい」でも、起きる場所が違います。この章では、原因別に、確認できた事例を紹介します。

事例は事実と推測を分けて読む

事例を読むときは、公表された事実と、推測を分けます。事故の当事者や公的機関が出した文書は、事実として扱えます。報道が根拠の事例は、記者が社内の文書や関係者の話をもとに書いたもので、詳細が分からない部分が残ります。

もう一つ、被害が実際に出た事故と、研究者が見つけた脆弱性は、別のものです。脆弱性が見つかっても、悪用されていなければ、情報は漏れていません。この記事では、この区別を保ったまま、次の4つの事例を見ていきます。

サービス側の不具合で他の利用者の情報が見えた

1つ目は、サービス側の不具合です。OpenAIは2023年3月24日に、ChatGPTの障害について、原因と対応を公表しています。オープンソースのライブラリの不具合で、一部の利用者に、他の利用者のチャット履歴のタイトルが見えた、という内容です。

同じ不具合で、有料プランの利用者のうち、特定の9時間のあいだに使っていた1.2%について、他の利用者に、氏名、メールアドレス、請求先の住所、カードの種類と下4桁、有効期限が見えた可能性があった、とOpenAIは説明しています。完全なカード番号は、見えていないとのことです。実際に情報が見えた利用者は、極めて少ないと、OpenAIは見ています。

この事例の原因は、AIそのものではなく、サービスが使っていたオープンソースの部品でした。生成AIのサービスも、一般のシステムと同じく、多くの部品の上で動いています。AIを使うサービスの安全性は、AIの性能だけでなく、周りの仕組みの管理にも左右されます。

OpenAIは、修正の公開、返ってきたデータが利用者本人のものかを確かめる検査の追加、ログの確認、影響を受けた利用者への通知を行ったと、公式の報告で書いています。利用者の側で、この種の不具合を防ぐことは、できません。サービスに預ける情報の量を減らしておくことが、備えになります。

入力した情報が社外へ渡った

2つ目は、利用者が入力した情報です。2023年5月、サムスン電子が、従業員による生成AIの利用を制限したと報じられました。報道によれば、社内のメモには、技術者が2023年4月に、社内のソースコードをChatGPTに入力したことが書かれていました。入力された情報の中身については、はっきりしないと報じられています。

この事例は、報道が根拠で、詳細が分からない部分が残ります。ただ、同社が懸念として挙げたのは、外部のサーバーに送られたデータの取得や削除が難しい点だったと報じられています。入力した情報を、あとから取り戻しにくいという点は、どの会社にも当てはまります。

公的機関も、同じ点に注意を促しています。個人情報保護委員会は2023年6月2日に、生成AIサービスの利用に関する注意喚起を出しました。個人情報を含む入力をするときは、利用目的の達成に必要な範囲内かを確認すること、本人の同意なく個人データを入力し、応答の出力以外の目的で扱われる場合は、個人情報保護法に違反する可能性があること、そのため、提供事業者が個人データを機械学習に利用しないことなどを確認することが示されています。

利用者のアカウントが盗まれた

3つ目は、アカウントの窃取です。セキュリティ企業のGroup-IBは2023年6月に、情報窃取型マルウェアが盗んだ情報のログに、ChatGPTの認証情報が101,134件含まれ、ダークウェブで取引されていたと発表したと、報じられています。ログは過去12か月分で、2023年5月が最も多かったとされています。

これは、AIサービスのサーバーが侵害された事例ではありません。利用者の端末に入ったマルウェアが、保存されていたIDとパスワードを盗んだものです。アカウントが乗っ取られると、そのアカウントに残った過去の入力内容や会話の履歴が、攻撃者に見られる可能性があります。個人のアカウントに仕事の情報を入力していると、会社の管理が及ばないまま、リスクが増えます。この事例も報道が根拠のため、件数などは発表の引用として受け取ってください。

パスワードを他のサービスと使い回していると、別のサービスから漏れた情報でログインされるおそれもあります。生成AIのアカウントも、他と別のパスワードにして、多要素認証を有効にしておくことが、基本の備えです。

外部のデータに仕込まれた指示が情報を引き出す

4つ目は、AIが読み込む外部のデータに、指示が仕込まれる脆弱性です。2025年6月に、セキュリティ企業のAim Securityが、Microsoft 365のCopilotにある脆弱性「EchoLeak」(CVE-2025-32711)を公表したと報じられました。細工したメールが届くだけで、Outlook、OneDrive、SharePoint、Teamsの情報が、外部へ送られうる、という内容です。

報道によれば、Microsoftはすでに対処済みで、利用者側の対応は不要だと説明し、悪用は確認されていないとしています。つまり、この事例は、情報が漏れた事故ではなく、漏れうる脆弱性が見つかり、被害が出る前に修正された例です。AIが、メールや文書といった外部のデータを読み込み、そこに書かれた指示に従ってしまう仕組みは、プロンプトインジェクションと呼ばれます。AIに読ませるデータの範囲と、AIに与える権限を絞ることが、備えになります。

生成AIのセキュリティ事故を防ぐ備え

明るい会議室の丸いテーブルを3名が囲み、女性が利用ルール案の紙をペンで指して説明し、男性がうなずき、別の女性がメモを取っている様子
原因が違えば、備える場所も、確かめる相手も変わります

事例を原因で分けると、予防策も分けて考えられます。この章では、原因別の予防策と、外注先や社内のルールに落とす確認点を説明します。

原因別に見る予防策と確認点

原因ごとに、利用者側でできることと、発注側が確かめることを並べます。

原因 事例 利用者側でできること 発注側が確認すること
サービス側の不具合 OpenAI(2023年3月) 預ける情報の量を減らす。重要な情報は入力しない 不具合が起きたときの通知と、影響範囲の説明を、契約や規約で確かめる
入力した情報の流出 サムスン電子(報道)、個人情報保護委員会の注意喚起 入力してよい情報を決める。学習に使われない設定を選ぶ 外注先が使うツールとプラン、入力禁止の情報を、書面で確認する
アカウントの窃取 Group-IBの発表(報道) 多要素認証を使う。端末のマルウェア対策をする。個人アカウントで仕事をしない 外注先の担当者が、会社のアカウントで利用しているかを確認する
外部データ経由の不正指示 EchoLeak(脆弱性。被害は確認されていない) AIに読ませるデータの範囲と、AIの権限を絞る。重要な操作は人が承認する AIを組み込んだシステムの発注では、権限と承認の設計を、要件に書く

4つの原因のうち、利用者が直接防げるのは、入力とアカウントの2つです。サービス側の不具合と、外部データ経由の脆弱性は、利用者が防げないので、預ける情報を減らす、権限を絞る、といった形で、被害を小さくする備えが中心になります。

外注先と委託先に確認すること

外注先が開発や運用に生成AIを使っている場合、入力した情報が社外へ渡る経路は、外注先の側にもあります。外注先には、使っているAIツールの名前とプラン、入力してはいけない情報の線引き、担当者が会社のアカウントで利用しているかを、書面で聞いておきます。

特に、自社の仕様書やソースコード、顧客のデータが、外注先のAIに入力されていないかは、確認する価値があります。外注先がAIで書くコードのリスクと、確認項目は、コード生成AIのセキュリティで外注先に確認する点を解説した記事で整理しています。自社でAIを導入するときの確認は、AI導入のセキュリティリスクと確認チェックリストが参考になります。

社内の利用ルールに落とし込む

事例から分かることを、社内のルールにすると、同じ事故を避けやすくなります。次の4つは、最低限、文書にしておきたい内容です。

  • 入力してはいけない情報:顧客の個人情報、未公開の財務情報、取引先との契約の内容、ソースコードなど
  • 使ってよいサービスと、使うときの設定:会社が承認したサービスと、学習に使われない設定
  • アカウントの扱い:会社のアカウントで利用し、多要素認証を使う
  • 間違えて入力したときの連絡先:誰に、いつまでに伝えるか

ルールは、作って終わりではありません。新しい事例や公的機関の注意喚起が出たときに、入力禁止の情報や使ってよいサービスの一覧を見直す担当を決めておきます。担当と見直しの時期が決まっていないと、書いたルールが現場の実態から離れていきます。

ルールの作り方と、現場に定着させる進め方は、生成AI社内ガイドラインの作り方を解説した記事で整理しています。入力してよい情報の線引きから決めたいときは、生成AI社内利用ガイドライン雛形(10論点のルールテンプレート)をひな形に使うと、決める項目の抜けを防げます。

よくある質問

Q. 生成AIのセキュリティ事故で、いちばん多い原因は何ですか?
A. 公表された情報だけで、原因ごとの件数を比べることはできません。この記事で取り上げた事例も、原因が分かれていて、件数の統計はありません。ただし、利用者の側で防げるのは、入力とアカウントなので、この2つを先にルールにするのが、現実的です。
Q. 事例の会社は、いまも同じ問題を抱えていますか?
A. この記事の事例は、2023年から2025年に公表されたもので、現在の状況は分かりません。OpenAIとMicrosoftは、不具合や脆弱性を修正したと説明しています。事例は、いまの安全性ではなく、どんな原因で事故が起きうるかを学ぶ材料として読んでください。
Q. 生成AIの利用を、禁止したほうが安全ですか?
A. 禁止すると、把握できない利用が増えやすくなります。入力してよい情報と、使ってよいサービスを決めて、会社が管理できる形で使うほうが、結果としてリスクを下げやすいと、私は考えています。