「AIセキュリティ監査」と検索すると、AIを使って監査の作業を自動化する話と、AIシステムそのものを監査する話が混ざって出てきます。この記事で扱うのは、後者です。導入済みのAIシステムが、決めたとおりに運用されているかを、記録で確かめる監査を、発注者の立場で説明します。

監査で問われるのは、対策があるかどうかではなく、決めたとおりに運用されていることを示す記録が残っているかです。デジタル庁の生成AIのガイドラインと、経済産業省のシステム監査の基準を手がかりに、AIシステムのセキュリティ監査で確認するログと証跡、発注の要件に入れる項目、外部に監査を頼むときの進め方を整理します。

この記事のポイント

  1. 「AIで監査する」話と「AIを監査する」話は別で、この記事は、導入済みのAIシステムが決めたとおりに運用されているかを、記録で確かめる後者を扱う
  2. 診断や評価が「対策が機能するか」を試すのに対し、監査は「ルールどおりに運用され、その記録が残っているか」を確かめる
  3. 確認するのは、入力、出力、アクセス履歴のログと、権限、設定の変更、承認、事故対応などの証跡
  4. 監査できる状態は、あとから作れない。ログの取得、保存、提供を、納品の時点から発注の要件と契約に入れておく
目次
  1. AIシステムのセキュリティ監査で先に決めること
  2. 「AIで監査する」話と「AIを監査する」話は別
  3. 診断・評価・監査の違いを表で整理する
  4. 監査が必要になる場面
  5. AIシステムのセキュリティ監査で確認する証跡
  6. AIシステムで残すログの項目
  7. ログ以外に必要な証跡
  8. 監査の進め方
  9. 開発会社に頼むときの確認点
  10. 外部の監査を頼むとき
  11. 指摘を直す順番の決め方
  12. よくある質問
  13. 総括:AIシステムのセキュリティ監査で決めること

AIシステムのセキュリティ監査で先に決めること

左はAIが虫眼鏡で書類を調べる図、右は虫眼鏡がAIの箱を調べる図で、AIで監査することとAIを監査することの違いを表したイラスト
「AIで監査する」と「AIを監査する」は、別の話です

監査という言葉は、立場によって指すものが違います。この章では、この記事が扱う範囲、診断や評価との違い、監査が必要になる場面を説明します。

「AIで監査する」話と「AIを監査する」話は別

検索結果には、生成AIを使って、監査報告書を作ったり、設計書の問題を自動で見つけたりする事例が並びます。これは、AIを道具として使う話です。一方、この記事の「AIシステムのセキュリティ監査」は、自社が導入したAIシステムを、監査の対象にする話です。

AIシステムを対象にする場合、知りたいのは、「入力した情報は誰が見られたのか」「AIはどの情報を参照したのか」「ルールを破った利用はなかったか」といった、運用の事実です。それを確かめる材料が、ログと証跡です。

診断・評価・監査の違いを表で整理する

AIのセキュリティを確かめる手段には、評価、診断、監査があります。同じ「確認」でも、時期と、見るものが違います。

手段 主な時期 確かめること 主な成果物
評価 発注前、導入前 想定する脅威に対して、対策が足りているか 脅威と対策の一覧、残るリスク
診断 納品前、大きな変更のとき 攻撃を試して、対策が機能するか 診断のレポート
監査 運用中、定期的 決めたルールどおりに運用され、記録が残っているか 監査報告書、指摘と改善の記録

導入前の評価の進め方は、AIシステムのセキュリティ評価を、発注前に確認する項目として整理した記事で、診断の検査項目は、生成AIのセキュリティ診断を、検査項目と外注先の見極め方として整理した記事で説明しています。監査は、これらの結果が、運用の中で守られているかを確かめる位置づけです。

経済産業省は、システム監査を実施する監査人の行為規範と手続の規則を「システム監査基準」として、判断の尺度を「システム管理基準」として公表しています。どちらも令和5年4月26日に改訂されています。ただし、今回確認したページには、AIを対象にした記載はありません。AIシステムの監査は、これらの考え方を土台に、AI特有のリスクを加えて進めることになります。

監査が必要になる場面

AIシステムの監査が必要になるのは、導入したときではなく、運用が進んだあとです。現場でよく見るのは、次のような場面です。

  • 取引先から、AIの利用状況や、データの扱いの確認を求められたとき
  • 情報漏えいの疑いが出て、何が起きたかを調べるとき。事故の類型は、生成AIのセキュリティ事故を原因別に整理した記事で確認できます
  • AIの利用範囲を、別の部署や、社外の利用者へ広げるとき
  • 契約の更新のときに、運用の実態を確かめたいとき
  • 経営や取締役会へ、AIの管理状況を報告するとき

どの場面でも、必要になってから記録を探しても、残っていなければ確かめられません。監査できる状態は、導入の段階で作っておくものです。

AIシステムのセキュリティ監査で確認する証跡

長い記録の巻物と、引き出しのあるファイル箱を、虫眼鏡で見比べて照らし合わせる様子を表したイラスト
記録と証跡を、照らし合わせます

監査では、記録を集めて、決めたルールと照らし合わせます。この章では、残すログの項目、ログ以外の証跡、監査の進め方、開発会社に頼むときの確認点、外部に監査を頼むときのことを説明します。

AIシステムで残すログの項目

デジタル庁の「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」は、情報システムが正しく利用されていることの検証と、不正な侵入や操作がなされていないことの検証のために、必要なログの取得と管理を求めています。そのうえで、生成AIシステムについては、適正な利用を確認するために、生成AIシステムへの入力、出力、アクセス履歴などのログを、適切に取得し、管理する必要があるとしています。政府機関向けのルールですが、民間の監査にも使える考え方です。

この3つに加えて、AIシステムでは、次の項目も残しておくと、事故のときの調査と、監査に役立ちます。後半の項目は、この記事の筆者の整理です。

項目 残す内容 確認できること
入力 誰が、いつ、何を入力したか 入力してはいけない情報が入っていないか
出力 AIが何を返したか 誤った回答や、機密の出力がなかったか
アクセス履歴 誰が、いつ、どの機能や情報にアクセスしたか 権限のない利用や、不審なアクセスがなかったか
参照したデータ(筆者の整理) 社内文書の検索で、どの文書を参照したか 見せてはいけない文書を参照していないか
外部連携(筆者の整理) 外部のサービスやツールに、何を送ったか 意図しない送信や、操作がなかったか
管理者の操作(筆者の整理) 設定の変更、権限の付与、ログの削除 誰がいつ、守りの設定を変えたか

ログには、個人情報や機密が含まれるため、ログ自体の閲覧権限と保存期間も決めます。誰が見られるのか、何日残すのか、いつ消すのかを決めておかないと、ログが新しい情報漏えいの原因になります。

ログ以外に必要な証跡

ログだけでは、「決めたルールどおりか」は確かめられません。ルールそのものと、運用の記録が必要です。

  • ルールの文書:AIの利用ルール、入力してよい情報の線引き、権限の設計
  • 権限の一覧:誰が、どの機能と情報を使えるか。変更の履歴
  • 承認の記録:新しい機能や、外部連携を追加したときの、承認の記録
  • 事故と対応の記録:発生した事象、原因、対応、再発防止
  • 教育の記録:利用者への周知や研修の実施の記録
  • 委託先の一覧と、委託先からの報告:再委託先を含む。報告の日付
  • 評価や診断の結果:指摘の事項と、改善の状況

この中で、後から作りにくいのは、日付のついた記録です。会議の議事録や、承認のメール、設定の変更の履歴は、その場で残さないと、あとで用意できません。

監査の進め方

監査は、6つの段階で進めます。範囲と基準を決めてから、証跡を集めて照らし合わせます。

階段を上がるように6つの段階が並び、最後に旗が立つ、監査を6段階で進める様子を表したイラスト
監査は、6つの段階で進めます
  1. 範囲を決める:どのAIシステム、どの部署、どの期間を対象にするか
  2. 基準を決める:自社のルール、契約の条件、公的なガイドラインのどれと照らすか
  3. 証跡を集める:ログ、権限の一覧、承認の記録などを、対象の期間分、集める
  4. 照らし合わせる:決めたルールと、実際の運用の記録の差を見つける
  5. 指摘と改善:差の原因と、直す担当、期限を決めて記録する
  6. 再確認:直したことを、次の監査や、期限の後の確認で確かめる

監査の頻度や深さは、扱う情報の重要度で決めます。個人情報や機密を扱うAIは、年に1回以上、定期的に確かめるのが目安です。これは筆者の考え方で、法令などで決まった頻度ではありません。

開発会社に頼むときの確認点

監査できる状態は、あとから作れません。AIシステムの開発や運用を、開発会社に頼む場合は、ログと証跡を、発注の要件と契約に入れます。

開発会社の箱から、記録の束が矢印で自社の箱の引き出しへ渡される様子を表したイラスト
ログの引き渡しを、契約で決めます
  • 取得するログの項目:入力、出力、アクセス履歴、参照したデータ、管理者の操作が含まれるか
  • 保存先と期間:ログをどこに、何日残すか。自社が見られる場所にあるか
  • 閲覧と提供:自社が、いつでも見られるか。監査のときに、書き出して渡してもらえるか
  • 委託先でのログ:再委託先や、外部のAIサービスで、入力や出力がどう記録されるか
  • 契約の終了後:ログと証跡を、自社に引き渡し、委託先の側から削除する手順

納品のときには、ログの仕様どおりに動いているかを、検収で確かめます。納品物とテスト結果を、検収書に押印する前に点検するときは、検収・受入テスト確認シート(6カテゴリ・45項目)で、テストの証跡や、引き渡しの内容を、抜けなく確かめられます。運用が始まったあとに、委託先から証跡の提出を受ける進め方は、ベンダーコントロールパーフェクトガイドに、ワークシート付きで整理されています。

外部の監査を頼むとき

自社だけでは、基準や専門性が足りないときは、外部に監査を頼みます。経済産業省は、外部のシステム監査を希望する企業が、システム監査を実施できる企業を知れるように、「システム監査企業台帳」を公開しています。台帳には、各社から提出された、システム監査の実績などの申告が載っています。

外部に頼むときは、依頼する前に、次を決めておきます。AIシステムの監査に、実績があるかも、台帳の記載や、依頼先への質問で確かめます。

  • 監査の範囲と対象の期間
  • 照らし合わせる基準(自社のルール、契約、ガイドライン)
  • 監査人が見られるログと証跡の範囲。個人情報の扱い
  • 成果物(報告書の形式、指摘の優先度、改善の提案を含むか)
  • 監査人と、監査の対象のシステムを作った会社の関係(独立性)

デジタル庁のガイドラインも、生成AIシステムの監査では、生成AI特有のリスクを認識したうえで監査を実施するよう求めています。AIの特性を理解している監査人を、選ぶことが重要です。

指摘を直す順番の決め方

監査で見つかった差は、すべてを同時には直せません。次の順で、優先度を決めます。1つ目は、個人情報や機密が、意図しない相手に見えた可能性のあるものです。見えた範囲を調べ、必要なら関係者へ連絡します。2つ目は、ログが取れていない、保存期間が足りないなど、次の監査で確かめられなくなるものです。3つ目は、ルールの文書と運用の食い違いです。文書を直すのか、運用を直すのかを決めます。

ログの項目が足りない場合は、開発会社への依頼が必要になり、費用や期間の相談になります。そのため、直す担当と期限は、指摘の一覧に必ず書き込み、次の監査で確認できるようにします。

よくある質問

Q. 小さな会社でも、AIシステムの監査は必要ですか?
A. 規模にかかわらず、個人情報や機密を扱うAIなら、運用の記録が残っているかを、定期的に確かめる意味があります。大がかりな監査でなくても、ログと権限の一覧を、年に1回、ルールと照らし合わせるだけでも、抜けが見つかります。
Q. 診断を受けていれば、監査は不要ですか?
A. 不要ではありません。診断は、その時点で対策が機能するかを試すもので、運用中に、ルールが守られ続けているかは確かめられません。診断の結果が、運用に反映されているかを、監査で確かめます。
Q. ログを取ると、従業員のプライバシーが心配です。
A. ログの目的と、閲覧できる人、保存期間を、利用のルールに書いて、利用者に周知してください。ログを監査のために取ることを、あらかじめ伝えておくことが前提です。個別の判断が必要なときは、社内の担当者や専門家に確認してください。