この記事は、AI に作らせた小さなツール（計算・一覧・予約の案内など）を、社内で使い始める前やお客さまに納品する前に確かめたい事業者の方に向けて書いています。
正しく使うと、ちゃんと動く
AI に作らせたツールは、正しい値を入れれば、たいてい正しく動きます。困るのは、間違った値を入れたときに、何も言わずに結果を出してしまうことです。
当方は、自社で AI に作らせた小さなツール 10 本を乱数で選び、わざと間違えた操作を当てました。操作は、入力の種類ごとに先に決めておきました。数の欄には「マイナス」や「とても大きい数」、文字の欄には「空っぽ」や「1 万字」、そして「同じボタンを 2 回続けて押す」です。
結果は 3 つに分けました。
- 止めて理由を出す（「0 以上の数でご入力ください」など）
- 黙って進む（間違いに気づかず、結果を出す）
- 固まる・消える
結果
操作を当てられたのは 9 本・52 の操作でした（1 本は、画面の作りの上で間違った値を入れられませんでした）。
- 止めて理由を出す: 15
- 黙って進む: 28
- 固まる・消える: 0
- 影響なし（正しく扱った）: 9
黙って進む操作が 1 つ以上あったのは、9 本のうち 6 本でした。たとえば、こんなものです。
- 作業指示書の名前の欄を空にすると、その行を数えずに「すべて埋まっています」と言って印刷に進む
- 料金の分配の計算にマイナスの金額や大きすぎる数を入れると、そのまま計算して「決済の手数料 -3,599,999 円」のような結果を出す。しかも画面の自己検査は「ぴったり合う」と言う
- 大きすぎる数を入れても、結果が 1 文字も変わらない
- ボタンを 2 回押すと、印刷や案内が 2 回動く
どれも、正しい値を入れる試しでは見つかりません。
納品前に壊してみるテストカード
自分のツールに当てて、3 つのどれだったかを書き込む表です。4 行を全部の入力欄に当てます。
| 当てる操作 | 止めて理由を出す | 黙って進む | 固まる・消える |
|---|---|---|---|
| 空っぽ（何も入れずに押す） | | | |
| 境目の外（マイナス・0・とても大きい数・ありえない日付） | | | |
| 違う種類（数の欄に文字、1 万字） | | | |
| 2 回続けて押す | | | |
「黙って進む」に 1 つでも印が付いたら、使い始める前・納品する前に、作った人（または AI）にその操作を見せて直してもらいます。
それでも言えないこと
- 10 本は、当方が 1 つの AI（Claude Code）で、しかも「自己検査を入れる」指示をして作ったものです。AI で作ったツール全体の割合ではありません。指示を付けない作り方なら、もっと多いかもしれませんし、少ないかもしれません（試していません）
- 1 回だけ当てた探索的な記録です。判定がぶれた 7 件は、もう一度当てて決めました
- 3 本は、決めておいた手順（1 操作ごとに画面を開き直す）から外れて、同じ画面で欄を元に戻しながら当てました
できているはずを確かめる 3 つ
- 公開や納品の前: 間違った入力でも止まるか（この記事）
- 使っている間: 数字で異常に気づけるか
- 事故の後: 元に戻せるか
全文は本家に
公開前に確かめる 5 つ（届ける・戻せる・守る・気づける・配り直す）は、本家の記事にまとめています。
AI で作ったアプリ、動いたら公開していい？ 公開前に確かめること
Sumitsuke は、事業者の方（法人・個人事業主）から、AI や外注で作ったものの点検と、公開前の検証を納品型で受けています。