AIエージェントの検証を始めようとすると、「何がどうなれば成功なのか」が決まっていないことに気づきます。試しに動かしてみて、便利そうだという感想は集まる。しかし、本番に進めてよいのかを誰も言い切れず、検証だけが延びていく。こうした状況は珍しくありません。先に結論を書くと、AIエージェントの評価指標は、回答の精度だけでは足りません。完了率、誤操作率、人の介入時間、処理費用を測り、検証を始める前に合格基準を合意しておきます。基準が先にあれば、検証の結果を見て、進めるか、やめるかを決められます。2026年11月に私が確認した検索上位は、開発する人に向けた評価の手法の解説が中心で、発注する側が合格基準をどう決めるかを示した記事は多くありませんでした。この記事では、業務で測る指標と測り方を整理したうえで、PoCと本番の合格基準の決め方をまとめます。
この記事のポイント
- AIエージェントの評価指標は、完了率・誤操作率・人の介入時間・処理費用・処理時間の5つで測る
- 導入前の現状の数字を先に測り、比べる相手を用意する
- 合格基準は、検証を始める前に、数字と判定の方法まで合意する
- PoCは「続ける価値があるか」、本番は「任せ続けてよいか」を判定する
目次
AIエージェントの評価指標と測り方
回答の精度だけでは足りない理由
チャット型のAIを評価するときは、回答が正しいかどうかを見れば足りました。質問に対して答えが1つ返り、人がそれを読んで使うからです。誤りがあっても、読んだ人が気づけば、被害は出ません。
AIエージェントは違います。複数の手順を自分で進め、システムに登録したり、メールを送ったりします。途中の回答が1つずつ正しくても、最後まで終わらなければ業務は完了しません。逆に、回答としては自然でも、誤った相手に送信していれば、それは事故です。
つまり、見るべきものは「答えが合っているか」から「仕事が正しく終わったか」に変わります。評価指標も、文章の出来ではなく、業務の結果で決めます。
業務で測る5つの指標
発注する側が押さえておきたい指標は、次の5つです。どれも、専門の知識がなくても数えられるものにしています。
| 指標 | 測るもの | 数え方 |
|---|---|---|
| 完了率 | 人の手を借りずに、正しく最後まで終わった割合 | 正しく完了した件数 ÷ 依頼した件数 |
| 誤操作率 | 誤った登録、誤った送信、してはいけない操作をした割合 | 誤操作のあった件数 ÷ 依頼した件数 |
| 人の介入時間 | 確認、修正、やり直しに人が使った時間 | 1件あたりの平均の分数 |
| 処理費用 | AIの利用料など、1件を処理するのにかかった費用 | 期間の利用料の合計 ÷ 処理した件数 |
| 処理時間 | 依頼してから結果が出るまでの時間 | 1件あたりの平均と、最も長かった件 |
5つを並べて見ることに意味があります。完了率だけを上げようとすると、何度もやり直させる作りになり、処理費用と処理時間が増えます。誤操作率だけを下げようとすると、すべてに人の承認を挟む作りになり、人の介入時間が増えます。どれか1つではなく、5つの釣り合いで判断します。
完了率と誤操作率の数え方
完了率で最も大事なのは、「完了」の定義です。AIエージェントが「完了しました」と報告した件数を数えても、意味がありません。報告は完了でも、登録の内容が誤っていることがあるからです。
完了とみなす条件は、業務の結果で書きます。経費の申請を処理する業務であれば、「勘定科目、金額、承認者が、担当者の判断と一致して登録されている」といった形です。この条件に照らして、人が1件ずつ判定します。検証の段階では、この判定の手間を惜しまないでください。
誤操作は、重さで分けて数えます。あとから直せる誤りと、取り消せない誤りを、同じ1件として扱わないためです。
- 軽い誤り:表記のゆれ、不要な確認の質問など。業務への影響は小さい
- 直せる誤り:登録内容の誤りなど。人が気づけば修正できる
- 重い誤り:社外への誤送信、権限のない情報の参照、取り消せない操作など
重い誤りは、割合ではなく件数で見ます。100件のうち1件でも起きれば、本番には進めない、という基準を置くことが多い項目です。
人の介入時間と処理費用の測り方
人の介入時間は、導入の効果を決める数字です。AIエージェントが作業を済ませても、その結果を人が毎回すべて確かめていれば、手作業のときと時間が変わらないことがあります。事例の記事で削減時間だけが語られているときも、この時間が含まれているかを確かめる必要があります。読み方は、AIエージェントの活用事例の見極め方の記事で整理しています。
測るのは、次の3つの時間です。結果を確認する時間。誤りを修正する時間。AIエージェントが途中で止まったときに、引き継いで対応する時間。検証の期間中は、担当者に簡単な記録を付けてもらいます。厳密でなくてかまいません。1件あたり何分かが、おおよそ分かれば足ります。
処理費用は、検証の期間にかかったAIの利用料を、処理した件数で割って出します。平均だけでなく、最も高かった件も見てください。やり直しを繰り返した件は、平均の何倍もかかっていることがあります。件数が増えたときの月額は、この1件あたりの費用から見積もります。
評価に使う試験データの作り方
指標を測るには、試験に使う依頼の集まりが必要です。これを、開発会社が用意したきれいな例だけで済ませると、本番で数字が大きく下がります。実際の業務には、書式が崩れた申請や、情報が足りない問い合わせが混ざっているからです。
試験データは、過去の実際の業務から選びます。目安は、次の3種類を混ぜることです。
- よくある件:全体の大半を占める、手順どおりに進む依頼
- 例外の件:情報が足りない、書式が違う、規程の例外に当たる依頼
- 断るべき件:権限の外の依頼、対応してはいけない依頼
それぞれの件に、担当者が判断した「正しい結果」を付けておきます。この正しい結果が、判定の物差しになります。件数は、最初は30件から50件ほどで足ります。大切なのは件数よりも、例外と断るべき件が入っていることです。個人情報や機密を含む場合は、置き換えてから使います。
現状の数字を先に測る
見落とされやすいのが、導入する前の数字です。AIエージェントの完了率が85%だと分かっても、今の手作業での処理時間と誤りの割合が分からなければ、良くなったのかどうかを言えません。
検証を始める前に、同じ業務を人が行ったときの、1件あたりの時間と、誤りや差し戻しの割合を測っておきます。1週間ほど記録を付ければ、比べる相手として使える数字になります。人の作業にも誤りはあります。AIエージェントに誤りのない結果を求めるのではなく、今より良くなるかで判断するための準備です。
AIエージェントの評価指標で決める合格基準
合格基準は検証の前に合意する
合格基準を、検証の結果が出てから決めてはいけません。結果を見たあとでは、出た数字に合わせて基準を置いてしまうからです。完了率が70%だったときに、「70%あれば十分ではないか」という議論が始まります。投じた費用と時間を無駄にしたくない気持ちが、判断をゆがめます。
検証を始める前に、次の4つを文書にして、社内と開発会社で合意します。
- 測る指標と、それぞれの合格の数字
- 完了と誤操作の定義、判定する人
- 使う試験データと件数、検証の期間
- 合格しなかったときの進め方
合格の数字は、現状の数字と、業務が許せる誤りの重さから決めます。最初から高い数字を置く必要はありません。「現状の手作業と同じ誤りの割合で、人の時間が半分になる」といった、業務の言葉で書ける基準が使いやすいです。
PoCと本番で異なる合格基準
PoCと本番では、判定する問いが違います。PoCで確かめるのは、「この業務は、AIエージェントで進める価値があるか」です。本番の前に確かめるのは、「実際の業務を、任せ続けてよいか」です。問いが違うので、基準も分けて決めます。
| 項目 | PoCの合格基準 | 本番移行の合格基準 |
|---|---|---|
| 判定する問い | 続ける価値があるか | 任せ続けてよいか |
| 完了率 | よくある件で、目標に届く見込みがある | 例外の件を含めて、目標に届いている |
| 誤操作 | 重い誤りの原因が分かり、防ぐ方法がある | 重い誤りが起きない。起きたときに止められる |
| 人の介入時間 | 現状より減る見込みがある | 現状より減り、担当者が続けられる量である |
| 処理費用 | 1件あたりの費用のおおよそが分かる | 件数が増えたときの月額が、予算に収まる |
| 運用 | 問わない | 記録、通知、停止の方法、担当者が決まっている |
PoCの基準を厳しくしすぎると、可能性のある業務を早く捨ててしまいます。本番の基準を緩くすると、事故が起きます。PoCでは見込みを、本番では実績と運用の備えを見る、と分けて考えてください。
合格・条件付き・中止の3つに分ける
判定の結果は、合格か不合格かの2つではなく、3つに分けておきます。合格、条件付きで継続、中止です。検証の結果は、基準にわずかに届かないことが多く、2つしかないと判断が止まるからです。
条件付きで継続とするときは、何を、いつまでに、どこまで改善するかを決めます。期限と回数も決めます。「あと1回、4週間の改善を行い、それでも届かなければ中止する」といった形です。期限のない継続が、成果の見えない検証が繰り返される原因になります。
中止は、失敗ではありません。この業務には今の技術が合わないと、少ない費用で分かったということです。中止の基準を先に決めておくと、担当者が中止を言い出しやすくなります。中止した業務は、対象を狭める、手順の決まった自動化に切り替える、といった別の進め方を検討します。
本番で指標を見続ける仕組み
合格して本番に進んだあとも、指標は見続けます。AIエージェントの結果は、時間とともに変わるからです。業務の内容が変わる。参照する文書が古くなる。利用しているAIのモデルが更新される。どれも、完了率や誤操作率を動かします。
そのために、5つの指標が、運用の中で自動的に集まる作りを求めます。完了した件数、人に引き継いだ件数、処理時間、利用料は、実行の記録から集計できます。記録に残す内容は、AIエージェントのオーケストレーションの記事で整理しています。誤操作は自動では分からないので、月に一度、数十件を抜き出して人が確かめる、という点検を運用に入れます。
あわせて、数字が下がったときの動きも決めておきます。完了率が基準を下回ったら通知する。重い誤りが起きたら、いったん止めて原因を調べる。モデルや文書を更新するときは、検証で使った試験データでもう一度測る。試験データは、検証が終わったあとも捨てずに、点検のための資産として残します。
開発会社と合意しておく項目
評価指標と合格基準は、発注の条件として書面に残します。口頭の合意のままでは、検証の終わりに、何をもって完了とするかで食い違います。合意しておきたい項目は、次のとおりです。
- 誰が判定するか
- 完了と誤操作を判定するのは、発注する側の業務の担当者にします。作った側の判定だけで合格としないためです。
- 基準に届かなかったときの扱い
- 追加の改善が見積もりに含まれるのか、別の費用になるのかを、先に決めます。
- 試験データと記録の扱い
- 試験データと検証の記録を、発注する側に引き渡すことを求めます。別の会社に頼むときにも、同じ物差しで測れます。
- 本番での集計
- 指標を集計する画面や、定期の報告を、開発の範囲に含めるかを決めます。
検証で確かめる範囲そのものを絞ることも大切です。対象の業務を広げると、試験データも判定の手間も増え、基準があいまいになります。最初に確かめる業務と後回しにする業務を分け、何を測れば次に進めるのかを決める段階では、初回に作る機能と検証指標を10カテゴリ52項目で整理するMVP開発スコープ決定シートを使うと、検証の範囲と指標を1枚にまとめたうえで、開発会社との打ち合わせに持ち込めます。
本番に進むと決めたら、合格基準を仕様に移します。処理時間や記録の条件は、非機能要件として書く内容です。機能要件と非機能要件の章がそろった要件定義書テンプレート(Word形式)に、検証で確かめた数字を書き写しておくと、本番の開発の見積もりを、同じ前提で依頼できます。

