AIを使った脆弱性診断ツールを比べようとして、検出件数や機能の一覧表を見ても、どれが自社に合うのか判断できない。そんな購入の直前にいる情報システムの担当者に向けて書きます。AIを使った脆弱性診断ツールは、報告の件数が多くても、確かめられていない候補が並んでいるだけの場合があり、件数では優劣を決められません。この記事では、NTTデータが2026年8月に公開した解説と、1Passwordの研究チーム(Off-by-1 Labs)が同じ8月に公開した、AIが書いた修正パッチの検証結果をもとに、比べる5つの軸と、購入前に自社のコードで試す手順、診断を開発会社や診断会社に任せるときの確認点を整理します。特定の製品を推奨する記事ではありません。

この記事のポイント

  1. AIを使った脆弱性診断ツールは、検出件数では比べられない。成立が確かめられた指摘か、同じ条件で同じ結果が出るかを見る
  2. 比べる軸は、調べる対象、指摘の妥当性、結果の安定性、修正案の質、運用と情報の扱いの5つ
  3. 1Passwordの検証では、AIが書いた修正パッチのうち、元の動作を変えずに完全に直せたのは26.0%。誤った修正方針を伝えると、修正の成功率は15.2%まで下がった
  4. 購入前に、自社に近いコードで、過去に見つかって直した脆弱性を使い、同じ条件で試す。修正案は、人が確かめてから適用する
目次
  1. AIを使った脆弱性診断ツールは何を比べるか
  2. 調べる対象で見た3つの型
  3. 検出件数では比べられない
  4. LLMだけでなく仕組み全体を見る
  5. AIを使った脆弱性診断ツールの選び方と試し方
  6. 比べる5つの軸
  7. 購入前に自社のコードで試す手順
  8. 修正案を鵜呑みにしてはいけない理由
  9. 診断を開発会社や診断会社に任せるとき
  10. よくある質問
  11. 総括:AIを使った脆弱性診断ツールの選び方

AIを使った脆弱性診断ツールは何を比べるか

項目が多く、ほとんどが未確認の長い一覧と、3項目だけに確認の印が付いた短い一覧を並べた線画イラスト
項目の多さではなく、確かめられた指摘で比べる

最初に、ツールの種類と、比べる対象をそろえます。ここがそろっていないと、機能の表を並べても、比べたことになりません。

調べる対象で見た3つの型

「AIを使った」と書かれていても、調べる対象と、AIの役割は製品で違います。NTTデータの解説は、LLMやAIエージェントを使い、ソースコードや設計の情報を参照して脆弱性を調べるものを「AIを活用した脆弱性診断」と呼び、従来のSAST(アプリを動かさずにソースコードを解析する手法)との違いを整理しています。従来のSASTは、決められたルールで脆弱性の可能性を見つけるため、同じ対象と設定なら、比較的安定した結果が得られます。AIを使うものは、複数のファイルや処理の関係を読み取り、成立する条件や影響、修正案まで示す場合がある反面、与える情報や探索の経路によって、結果が変わることがある、とされています。

この解説と、診断会社の公開資料をもとに、私が調べる対象で3つの型に分けると、次のようになります。型の名前は私の整理で、各社の公式な分類ではありません。

型 調べる対象 AIの役割 比べるときの注意
ソースコードを調べる型 ソースコード、設計の情報 複数のファイルや処理の関係を読み取り、成立する条件、影響、修正案を示す場合がある AIに見せる情報や探索の経路で、結果が変わることがある
動いているシステムを調べる型 公開中のWebシステム、API 画面や通信の応答を見ながら、次に調べる対象を決める(診断会社の解説による) 診断中に、対象外へのアクセスや、過大な負荷をかけないか
診断会社のサービスに組み込まれた型 会社が提供する診断 探索や判断の一部をAIが担う(人がどこで確認するかは、会社による) ツールではなく、サービスとして比べる。AIを使った脆弱性診断と手動診断の違いの記事で説明している

まず、検討している製品が、この3つのうちどれにあたるのかを確かめます。型が違うものを同じ表に並べると、「できること」が食い違って見えるためです。

検出件数では比べられない

製品を比べるとき、見つかった件数で優劣をつけたくなります。NTTデータの解説は、これを適切ではないとしています。例として、同じシステムに対する報告が、一方は20件、もう一方は3件だったとします。20件が確かめられていない候補で、3件が脆弱性の成立を確かめた結果なら、件数だけで比べることはできません。3件にとどまった理由が、探索した範囲の狭さにある可能性もあります。

そのため、比べるのは件数ではなく、次の4つです。

  • 検出結果の妥当性。成立が確かめられた指摘か
  • 説明の十分性。成立する条件、影響、確認の方法が書かれているか
  • 結果の安定性。同じ条件で、同じ結果が出るか
  • 修正支援の実用性。修正案が、そのまま使える水準か

この4つは、NTTデータの解説が挙げているものです。購入前の確認では、これを、次の章の5つの軸に組み込みます。

LLMだけでなく仕組み全体を見る

もう1つ、製品を比べるときに見落としやすい点があります。「どのAIモデルを使っているか」だけを聞いても、製品の差は分かりません。NTTデータの解説は、AIエージェントを外側から制御し、支える仕組みを「ハーネス」と呼び、入力する情報、診断の方針、探索する範囲、使えるツール、再確認の手順、終了の条件、報告の基準、人が確認し承認する条件が含まれると説明しています。同じLLMでも、入力する情報の範囲や、使えるツール、確かめる水準によって、調べる深さや結果の質が変わるため、LLMとハーネスを一体として評価する必要がある、としています。

発注者の言葉に直すと、「AIに何を見せ、どこまで調べさせ、どこで人が確かめるのか」です。製品の担当者に聞くときは、モデルの名前より先に、この3つを聞いてください。

AIを使った脆弱性診断ツールの選び方と試し方

1つの対象の資料から3つのチップへ矢印が伸び、それぞれから同じ形の結果のカードが並んで出てくる様子を表した線画イラスト
同じ対象を、同じ条件で、複数の製品に通して比べる

型と、比べる対象がそろったら、比べる軸を決め、購入の前に自社のコードで試します。順に説明します。

比べる5つの軸

NTTデータの解説は、製品の差が出る工程を、「発見」「検証」「結果の提示と修正支援」に分けています。そのうえで、自社が必要とする工程が、製品の重点と合っているかを確かめるよう勧めています。この考え方と、先の4つの比べる点をもとに、購入前に確かめる軸を5つにまとめます。5つ目の運用と情報の扱いは、私が加えた項目です。

軸 確かめること 試すときの見方
調べる対象 ソースコード、動いているシステム、使っている部品のうち何を調べるか。自社の言語と構成に対応するか 自社のシステムで、動くかどうか
指摘の妥当性 成立の確認(再現の手順やテストコード)が付くか。成立する条件と影響が書かれているか 既知の脆弱性を見つけたか。誤検知はいくつあるか
結果の安定性 同じ対象に、同じ条件で再度かけたとき、結果がそろうか 2〜3回かけて比べる。定期診断なら安定性を重く見る。探索を重く見るなら、候補の幅を見る
修正案の質 修正案が、根本の原因まで直しているか。適用後に再度確認する仕組みがあるか 人が確かめることを前提に、案の質を見る
運用と情報の扱い ソースコードや診断の結果が、どこへ送られ、保存され、学習に使われるか。誰が結果を確認するか。費用の数え方 契約の前に、書面で確かめる

3つ目の結果の安定性は、目的で見方が変わります。NTTデータの解説は、定期診断や、修正の前後を比べる場合は、同じ条件での結果の安定性を確かめ、探索を重視する場合は、診断のたびに違う候補が出ることにも価値がある、としています。変動を一律に問題とせず、使う目的に合わせて見ることが大切です。

購入前に自社のコードで試す手順

NTTデータの解説は、採用するLLMや、1回だけの診断結果で判断せず、実際の診断対象に近いコードで確かめるよう勧めています。1Passwordの研究チームも、過去に修正済みの脆弱性に対して、複数のAIが出した修正を試すと、人の専門性が必要な箇所の目安になる、と述べています。これを、購入前の試し方にすると、次の5つの手順になります。

  1. 試す対象を決める。過去の診断や事故で見つかり、すでに直した脆弱性が含まれる範囲を選ぶ。答えが分かっているので、見落としも数えられる
  2. 同じ条件で、2〜3回かける。結果のぶれを見る
  3. 結果を、同じ表に並べる。件数ではなく、成立が確かめられた指摘の数、誤検知の数、見落とした既知の脆弱性、確認にかかった時間を書く
  4. 修正案は、適用する前に人が確かめる。確かめた担当者と、確かめる基準も記録する
  5. 試したコードと、診断の結果の扱いを確かめる。試用の段階から、送り先と保存の条件を書面で確認する

複数の製品を試すときは、対象も、条件も、回数も、そろえてください。そろえないと、製品の違いなのか、条件の違いなのか、分からなくなります。

修正案を鵜呑みにしてはいけない理由

修正案の質を、特に慎重に見る理由があります。1Passwordの研究チーム(Off-by-1 Labs)は、AIが書いた脆弱性の修正パッチに、なぜ専門家の確認が要るのかを、2026年8月6日(同年9月16日に更新)に公表しました。最近公開された、複雑な6件の脆弱性について、OpenAIとAnthropicの2つのAIモデルに修正パッチを書かせ、6,080件を判定した結果です。

結果 割合
脆弱性を直せて、元の動作も変えなかった 26.0%
脆弱性は直せたが、元の動作が変わった 20.1%
脆弱性を直せなかった、または新しい脆弱性を作り込んだ(両方を含む) 53.9%

さらに、「直せた」とされた修正パッチの3分の1以上は、「もろい」修正でした。たとえば、入力の特定の文字を処理するだけで、悪用された入力は止められても、根本の原因のコードは残ったままのものです。別の入力で同じ場所に届くようになれば、元の脆弱性が再び現れます。

修正案を作るAIに渡す助言の正しさでも、結果は大きく変わりました。論文では、正しい修正の方針を伝えたときの修正の成功率が65.0%、方針を伝えなかったときが50.4%、誤った方針を伝えたときが15.2%でした。論文は、SASTツールや、バグの報告、別のAIの出力など、確認されていない情報を渡すくらいなら、問題だけを渡すほうが安全だとし、人の確認を挟まずに「AIが見つけて、AIが直す」流れを自動化することには慎重な見方を示しています。

並んだ4枚の修正案の書類のうち1枚だけに確認の印が付き、小さな人物が虫眼鏡で書類を確かめている線画イラスト
完全に直せた修正は、検証では4件に1件ほどだった

ただし、この数字の読み方には注意が必要です。この研究は、診断ツールの製品を評価したものではなく、AIのモデルに修正を書かせた実験です。対象も、修正が難しい、複雑な脆弱性6件のオープンソースで、論文自身も、現実の脆弱性の平均より直しにくい選び方をしたと述べています。結果は、研究した時点のモデルでの数字で、条件を変えれば変わりうるとも書かれています。簡単な脆弱性なら、割合は高くなる可能性があります。

この結果から、購入前の判断に使えるのは、数字そのものではなく、次の2点です。1つは、ツールが出す修正案は、自信ありげに書かれていても、根本まで直しているとは限らないこと。もう1つは、修正案を適用する前に、人が確かめる手順を、運用に入れておくことです。見つかったあとの優先順位のつけ方は、脆弱性管理とは、AIで見つかる数が増える時代の優先順位と進め方の記事で整理しています。

診断を開発会社や診断会社に任せるとき

ツールを自社で買わず、開発会社や診断会社が使う場合でも、同じ確認が要ります。見積もりと提案の段階で、次の6項目を、書面で確かめてください。

  • 使うツールと設定、診断の対象の範囲。AIを使うのは、どの工程か
  • 指摘の原本(ツールの出力)と、誤検知かどうかを、誰がどう判断したか
  • 同じ条件で再度かけたときの結果が、そろうか
  • 修正案を適用する前の、人の確認と、修正後の再確認が、見積もりに含まれるか
  • ソースコードや診断の結果が送られるAIの提供元と、保存と学習の条件
  • 費用の数え方。診断1回の料金か、ライセンスか、再診断は別料金か

診断会社を比べるときの確認項目は、先に挙げた型の表の記事で説明しています。費用の見積もりの見方は、脆弱性診断の費用相場と、見積もりの見方の記事が参考になります。ツールの結果を受け取って、直す体制を決めるところまでが、診断の依頼に含まれます。

よくある質問

Q. 無料のツールでも、足りますか?
A. 無料か有料かでは決まりません。無料のものを先に試し、有料を検討するのも、1つの進め方です。どちらも、同じ対象、同じ条件、同じ回数で試し、5つの軸で比べてください。
Q. 検出件数が多いツールのほうが、よいですか?
A. 件数だけでは決められません。確かめられていない候補が多い場合も、探索の範囲が狭くて少ない場合もあります。成立が確かめられた指摘の数と、誤検知の数、既知の脆弱性を見つけたかで比べてください。
Q. ツールを入れれば、診断会社への依頼は不要になりますか?
A. 目的で変わります。日常の点検にはツールが向く場面があります。ただし、ツールの操作は、対象のシステムに負荷をかけたり、データを変えたりする可能性があるため、対象と手順を決めて行ってください。公開前や大きな変更のときの診断は、第三者の診断会社にも依頼することを、私は勧めます。