「その値、間違ってる」とだけ言われたら、どう動くか
Claude Codeを業務で回し始めて半年が経つ。帳票生成・データ検証・報告書の下書きといった作業を任せているが、初期の頃は出力をそのまま信じて後で痛い目に遭うことが何度かあった。
そこで3ヶ月前から運用を変えた。AIが出した値や判断に疑義があるとき、正解を教えずに「その値、間違ってる」とだけ伝えて再点検させる方式に切り替えた。答えを求めず、出典に立ち返って自力で検証させる。この運用を回してから、AIの検証精度が目に見えて上がった。
今回は、答えを伏せてブラインドで再点検させる仕組みが、なぜ精度向上に効くのかを実例とともに整理する。
答えを渡すと検証能力は育たない——正解依存の構造
従来の運用では、AIが出した値が間違っていると気づいたとき、こちらが正解を示して訂正させていた。「この数値は○○じゃなくて△△だから直して」という指示の出し方だ。
このやり方には致命的な欠陥がある。AIが「なぜ間違ったのか」を検証するプロセスを経ずに、正解だけを上書きして終わる構造になっていることだ。
結果、次回も同種のミスを繰り返す。正解を教えられた側は、自分の出力がどの前提・どの出典から外れていたのかを振り返らない。検証能力が育たないまま、正解依存のループに入る。
人間の教育でも同じだが、答えを渡すだけでは学習にならない。「どこで間違ったか」を自分で特定させるプロセスこそが、次の精度を上げる。
ブラインド検証の実装——「間違ってる」だけ告げて出典に立ち返らせる
3ヶ月前から、次のルールで運用している。
- 疑義があるときは「その値、間違ってる」とだけ伝える。正解は伏せる。
- 「出典を確認して再点検してください」と指示する。どの資料・どの前提から導出したかを自分で洗い直させる。
- 再提出された値が正しければ採用、まだ違えば「まだ違う」とだけ返す。答えを教えるのは最後の手段。
この運用を「ブラインド検証」と呼んでいる。検証者（AI）は正解を知らない状態で、出典と自分の出力を突き合わせて誤りを探す。
実例を挙げる。配管肉厚の減肉速度を計算させたとき、AIが「0.8 mm/年」と出してきた。この値は過去データと照らして明らかに過大だった。従来なら「0.2 mm/年が正しい」と教えて終わりだが、今回は次のように指示した。
「その減肉速度、間違ってる。元データと計算式を再確認して、もう一度出してください。」
AIは元データのCSVと計算式を読み直し、「前回点検時の肉厚を取り違えていました。再計算の結果、0.2 mm/年です」と返してきた。
このプロセスが重要だ。AIが自分で誤りの原因を特定し、正しい手順を踏んで再導出した。この経験がプロンプト内のコンテキストとして残り、次回の精度向上に寄与する。
ブラインド検証が精度を上げる3つの理由
3ヶ月回して分かったのは、ブラインド検証が次の3つのメカニズムで精度を上げるということだ。
1. 出典と出力の突き合わせが検証プロセスそのものになる
「間違ってる」と言われたAIは、出典（データファイル・仕様書・過去記録）に立ち返らざるを得ない。この突き合わせ作業が検証プロセスそのものとして機能する。
正解を渡すと、この突き合わせが省略される。「答えはこれ」で終わるため、出典との整合性を確認する契機が失われる。
ブラインド検証では、AIが「どの資料のどの行から導出したか」を明示して再提出してくる。この過程で、データの取り違え・計算式の誤適用・前提条件の見落としが可視化される。
2. 誤りの原因を言語化することで再発防止策が生まれる
再点検の際、AIは「なぜ間違ったか」を言語化して返してくる。「前回点検時の肉厚を取り違えていました」「単位換算を忘れていました」「適用すべき係数が違いました」といった形だ。
この言語化が再発防止策の種になる。次回の作業では、「前回点検時の肉厚は○○列目、今回は△△列目」と明示的に参照先を書くようになる。
正解を教えるだけでは、この言語化が生まれない。「直った」で終わり、同じ誤りを次回も繰り返す。
3. 検証者としての緊張感が維持される
「間違ってる」と言われた側は、正解を教えてもらえない以上、自分で探すしかない。この「自分で探す」プロセスが検証者としての緊張感を維持する。
正解を渡すと、検証者は受動的になる。「正解はこれ」と言われれば、それを受け入れるだけでよい。主体的に出典を確認する動機が薄れる。
ブラインド検証では、検証者が能動的に動かざるを得ない。この緊張感が、出力の品質を底上げする。
人間の検証者にも同じ原則が効く——答えを教えない文化
この運用はAIに限らない。人間の検証者に対しても、答えを教えずに再点検させる方式は有効だ。
NDT検査の現場では、検査員が報告書の数値を間違えることがある。従来の指摘方法は「この肉厚、○○mm じゃなくて △△mm だから直して」だった。
これを「この肉厚、間違ってる。測定記録を確認して再提出して」に変えた。検査員は測定野帳と報告書を突き合わせ、転記ミス・単位換算ミス・測定点の取り違えを自分で見つける。
このプロセスを経ると、次回の報告書精度が上がる。答えを教えないことが、検証能力を育てる。
チーム運用でも同じだ。後輩が計算ミスをしたとき、正解を教えるのではなく「計算式と元データを確認して」と返す。後輩が自分で誤りを見つければ、それが学習になる。
まとめ——検証プロセス自体が品質保証になる
AIに「その値、間違ってる」とだけ伝えて再点検させる運用を3ヶ月回した結果、検証精度が目に見えて向上した。
答えを渡すと検証能力は育たない。ブラインドで出典に立ち返らせる仕組みが、出典との突き合わせ・誤りの原因言語化・検証者の緊張感維持という3つのメカニズムを通じて精度を上げる。
この原則は人間の検証者にも効く。答えを教えない文化が、チーム全体の検証能力を底上げする。
検証プロセス自体が品質保証になる。正解を伏せて再点検させる設計が、AI時代の精度管理の核になる。