AIを業務に取り入れようとしたとき、「精度はどれくらい出るのか」「品質は保証してもらえるのか」が気になりますよね。開発会社から「精度95%です」と言われても、それが良い数字なのか、自社の業務で本当に使えるのか、発注側として判断に迷う方は多いと思います。
先に結論をお伝えすると、AI開発の品質と精度は、原理的に100%にはなりません。AIはルールを人が書く従来のシステムと違い、データから答えを推測する仕組みなので、必ず外れが出ます。だから「100%にしてほしい」と求めるのではなく、「どのくらいの精度なら業務で使えるか」を発注側が先に決め、それを満たしているかを検収で確認する、という考え方に切り替える必要があります。
この記事では、AI開発の品質がなぜ従来システムと違うのか、精度が100%にならない理由、そして発注者が評価指標の合意・検収条件・準委任での進め方をどう決めて品質を見極めるかを、発注側の目線で整理します。「精度95%」を鵜呑みにせず、自社で判断するための軸を持ち帰ってください。
この記事のポイント
- AIはデータから推測する仕組みのため、品質も精度も原理的に100%にはならない
- 「技術的には達成」と「業務で使える」はズレる。判断軸は発注側が決める
- 発注前に評価指標（精度・誤検知率・推論時間など）を定量で合意しておく
- 性能保証が難しいAIは、PoCで見極めてから本開発に進む段階的な進め方が安全
目次
AI開発で品質・精度が100%にならない理由
AIの品質は従来システムと何が違うのか
まず押さえたいのは、AIの品質は従来のシステムとは作られ方からして違う、という点です。従来のシステムは「この入力ならこう動く」というルールを人が一つずつコードに書きます。だから仕様どおりに動くかどうかで品質を判定でき、原則として同じ入力には必ず同じ結果が返ります。
一方、AI（機械学習）は大量のデータから「こういう傾向がある」というパターンを自分で学び取って答えを出します。人がルールを書くのではなく、データから推測の仕方を作るので、未知の入力に対しては「たぶんこうだろう」という確率的な答えになります。ここが根本的な違いで、AIの品質は「ルールが正しいか」ではなく「どれだけ当たるか（精度）」で測ることになります。
この違いは発注側にとって重要です。従来システムの感覚で「仕様どおり＝100%動いて当たり前」と考えると、AIの成果を正しく評価できません。AIは外れる前提で、「許せる外れ方かどうか」を見るものだと理解しておく必要があります。
たとえば請求書の金額を読み取るAIを考えてみてください。従来システムなら「この位置の数字を読む」とルールを書くので、書式が決まっていれば確実に動きます。一方AIは、見たことのないレイアウトの請求書でも「たぶんここが金額」と推測して読み取れますが、ときどき間違えます。柔軟に対応できる代わりに完璧ではない——これがAIの品質の本質です。だから発注側は「どんな書類でも100%読む」ではなく「9割を自動化し、残りは人が確認する」といった現実的な前提で導入効果を考えることになります。
精度100%が原理的に出ない理由
では、なぜ精度100%にはならないのか。理由は大きく3つあります。1つ目は、AIが学ぶ元データには必ず偏りがあること。世の中のすべてのパターンを集めることはできないので、学習データにない状況では精度が落ちます。2つ目は、AIが本番で出会うのは学習に使っていない「未知のデータ」だということ。人間でも初めて見るものを完璧に判断できないのと同じで、未知データへの100%保証は技術的に不可能です。
3つ目は、問題が起きたときに原因の切り分けが難しいこと。データが原因なのか、設計が原因なのか、想定外の入力なのかが絡み合うため、「ここを直せば100%になる」という単純な話になりません。これらはAIの性質そのものに由来するので、どんなに優秀な開発会社でも消せません。
逆に言えば、「精度100%を保証します」と言い切る会社はむしろ注意が必要です。AIの本質を踏まえれば、誠実な会社ほど「どの条件で何%を目指すか」を一緒に決めようとします。発注側としては、高い数字を約束する会社より、限界も正直に説明したうえで現実的な目標と運用方法を提案してくれる会社のほうが、結果的に失敗しにくい相手だと考えてよいでしょう。「できません」を言ってくれるかどうかは、信頼できる開発会社かを見分ける一つの目安にもなります。
「技術的には達成」と「業務で使える」のギャップ
発注側が一番つまずきやすいのが、ここです。開発会社が「精度95%を達成しました」と言っても、自社の業務で使えるとは限りません。たとえば誤りが5%あっても問題ない業務もあれば、その5%が重大な見逃しにつながり使い物にならない業務もあります。
指標を曖昧にしたまま進めると、開発会社は「技術的には目標を達成した」と主張し、発注側は「業務では使えない」と感じる——というギャップが生まれます。これはどちらかが悪いというより、「何をもって合格とするか」を事前にすり合わせていなかったことが原因です。だからこそ、発注側が業務目線で合格ラインを決めて伝えることが欠かせません。
もう少し具体的に言うと、同じ「精度95%」でも意味はまったく違います。問い合わせを分類して担当部署に振り分けるAIなら、5%の誤りは人が振り直せばよく、十分実用的です。しかし不良品を検出する検査AIで5%を見逃すと、不良品が出荷されて重大なクレームになりかねません。つまり「何%なら合格か」は技術ではなく業務のリスクで決まるもので、これを判断できるのは現場を知る発注側だけです。開発会社に「いい感じにして」と丸投げせず、自社の業務でどこまでの誤りなら許せるかを言葉にして渡すことが、品質を見極める前提になります。
発注者がAI開発の品質と精度を見極めるポイント
発注前に評価指標を合意する
品質を見極める出発点は、発注前に「どうなったら合格か」を定量的に決めることです。具体的には、精度（正解率）だけでなく、誤検知率（間違って反応する割合）、見逃し率、推論にかかる時間など、業務に効く指標を数字で合意します。たとえば「精度90%以上・誤検知率1%未満・1件あたり2秒以内」のように、業務で困らないラインを発注側から提示するのが理想です。
指標は技術的な正解率だけで決めないことが大事です。評価は次の3つの軸で考えると、業務目線で漏れがありません。
| 評価の軸 | 確認すること |
|---|---|
| 事業価値 | その精度で業務のコスト削減・売上に効果が出るか |
| 運用適合性 | 現場の業務フローに乗るか・処理速度や使い勝手は十分か |
| リスク・ガバナンス | 間違えたときの影響は許容範囲か・誰が責任を持つか |
もう一つ、評価指標と同じくらい大事なのがデータの準備です。AIの精度は、学習に使うデータの質と量で大きく決まります。自社にどんなデータがどれだけあるか、それは整理されているか、誰がいつまでに用意するか——ここが曖昧だと、開発が始まってから「データが足りない・汚い」で止まり、精度も出ません。データの整備担当・スケジュール・品質基準を発注前に開発会社と確認しておくと、遅延と精度不足の両方を防げます。
こうした指標やデータの準備範囲は、発注前に自社で整理しておくほど精度の高い依頼ができます。何を決めておくべきかはAI導入準備度チェックリスト（6領域50項目）で点検しておくと、評価指標の合意がスムーズになります。
検収条件の決め方
合格ラインを決めたら、それをどう確認するか（検収条件）も契約前に決めます。AIの検収で特に重要なのが、学習に使ったデータとは別の「独立したデータ」で精度を測ることです。学習に使ったデータで評価すると、当然よく当たるため、本番の実力を測れません。テスト用のデータを発注側でも用意できると、より公平に検収できます。
もう一つ理解しておきたいのが、AIでは従来のような「バグがあれば無償で直す」という性能保証や瑕疵の考え方がそのまま当てはまらないことです。精度が目標に届かない原因が、開発の不備なのかデータの限界なのか切り分けにくいためです。だからこそ、「どの指標を・どのデータで・何回測って・どの数値なら合格か」を検収条件として具体的に文書化しておくことが、後の「言った言わない」を防ぎます。
検収のとき発注側が確認したい項目を、あらかじめリスト化しておくと安心です。たとえば「合意した精度・誤検知率を満たしているか」「学習に使っていないデータで測ったか」「実際の業務データに近い条件で試したか」「想定外の入力が来たときの動き（極端な値や空欄など）はどうか」「運用後に精度が落ちたとき誰がどう調整するか」といった観点です。これらは技術の専門知識がなくても、開発会社に質問する形で確認できます。逆にここを詰めずに「とりあえず納品されたから受け取る」と進めると、本番で精度が出ずに作り直し、という最悪のパターンに陥りやすくなります。
準委任で性能保証が難しいときの進め方
ここまで見たとおり、AIは「やってみないと精度が分からない」ため、成果物の完成を約束する請負契約が結びにくく、作業や工数に対して払う準委任で進める場面が多くなります。準委任は性能保証が付かないぶん、進め方で品質リスクを抑える工夫が要ります。
有効なのが、いきなり本開発に入らず、まず小さく試すPoC（試作・検証）で実現性を確かめる段階的な進め方です。「PoCで決めた評価指標をクリアしたら本開発に進む」という条件を事前に合意しておけば、精度が出ないまま大きな費用を投じるリスクを避けられます。PoCは数十万円〜・1〜3か月程度で区切れることが多く、ここで「自社のデータと業務で本当に狙った精度が出るか」を確かめてから本格投資を判断できます。
注意したいのは、PoCで成功しても「成果物を納品して終わり」の体制だと、社内にノウハウが残らず本番導入でつまずきやすいことです。精度は運用開始後にデータが変われば落ちることもあるため、運用しながら定期的に精度を見直し再調整してくれる伴走型の体制かどうかも、発注前に確認しておきましょう。契約形態ごとの責任の違いと、発注者が損しない条件の詰め方はAI開発の委託契約で発注者が損しない請負と準委任の選び方で詳しく解説しています。
なお、個人に頼むか開発会社に頼むかでも品質の担保のしやすさは変わります。費用とあわせた判断はAI開発の費用は個人と開発会社でどう違う？選び方まで解説を参考にしてください。検収時のコードの確認観点はコードレビューのやり方と外注前に確認したい品質基準も役立ちます。
