コードを読めない非エンジニアが2758コミット積んで学んだ、「できました」を信じすぎない技術
先週、自社ECの商品ページ更新をAIに任せたら、税込4,980円の商品が3,980円のまま2日間公開されていました。
AIからの報告は「更新しました」。差分を見ずに、私は公開ボタンを押しました。2日間で7件売れていて、差額を計算すると7,000円ぶん、余分に値引きしていたことになります。
夜、うちの中央銀行総裁(妻)に「あれ、いつから安くなってたの」と聞かれて、何も答えられませんでした。
こんばんは。せおっちです。ECを運営しながら、自社システムを約260社、Chrome拡張を約700ユーザーに提供しています。5分の作業を省くために5時間かけて自動化するタイプです(計算は合っていません)。
この話を思い出したのは、翌朝の犬の散歩中、AIに株取引botを作らせて2758コミットまで積み上げた人の記録を読んだときでした。
2758コミットは、コードを読めない人が積んだ数字
その記録を書いたのは、コードを読めない非エンジニアです。AIだけを相手に、2758コミット分の開発を進めています。著者は、AIが「できました」と報告した回のうち、実際に直っていたのは12回に1回だったと振り返っています(出典:[Zenn、著者ハンドル uru_kabu_bot](https://zenn.dev/uru_kabu_bot/articles/536e5c4a53cd8f))。
この12回に1回は、著者がこのプロジェクトで記録した体感値で、条件をそろえた成功率調査ではありません。それでも、コードを検証できない人がAIの報告をそのまま信じ続けたらどうなるか、という実例としては重みがあります。私が旧価格に気づけなかったのも、理由は同じです。商品ページの差分を、自分で照合していませんでした。
「できました」は、自己採点の丸
AIの「できました」は、宿題を自己採点してくる子どもの◯に似ています。合っていても◯、間違っていても機嫌よく◯をつけてきます。悪気はなく、本人は本当に◯だと思っています。
AIは気配りのつもりで、商品ページに小さな地雷を埋めてくれます(埋めなくていい)。2758というコミット数も、◯の数が増えただけで、テストの点数が上がったことにはなりません。
商品説明は、関所を通してから公開する
AIに商品マスタを渡して説明文を作らせると、たいてい自然な文章で返ってきて「作成しました」と報告されます。ただ、店舗側の合格条件は「読みやすい」だけではありません。
商品名が商品マスタと一致している
価格が登録データと一致している
サイズ・素材・重量・対応機種が元データと一致している
元データにない効果や性能が追加されていない
「完全防水」「No.1」など、景品表示法上グレーとされやすい表現が入っていない
指定した見出し順と文字数に収まっている
(景品表示法や薬機法に触れるかどうかは商品や表現次第で、ここで断定はできません。際どい表現は、最終的に自店のルールと専門家に確認してください。)
江戸時代の関所は、通行手形を一枚ずつ検めてから人を通しました。AIの説明文も、手形を検めずに店へは出しません。手形の代わりに、価格・仕様・禁止表現の照合結果を見るだけです。
照合は目視でなくていいです。スプレッドシートのVLOOKUPか、商品マスタとのCSV差分で十分です。禁止表現は、対象語のリストを作っておいて一括検索するだけで拾えます。
公開前に見る3点
[ ] 入力:参照させた商品マスタは、正しい商品・正しい版か。商品コード・商品名・価格・更新日を確認する
[ ] 出力:商品名・価格・サイズ・素材・禁止表現・見出し順・文字数を照合する
[ ] 実結果:管理画面の保存内容と公開ページの表示を見比べ、別商品の情報や古い価格が混ざっていないか確認する
これで万能というわけではありません。価格変更や一斉送信など影響が大きい処理では、承認者・変更履歴・テスト環境・復旧手順まで、別に用意しておく必要があります。
依頼文に、通行手形の審査基準を先に書いておく
「商品説明を作って、元データと照合して」だけでは、合格ラインが曖昧です。私は最初から次のように依頼します。
添付した商品マスタのうち、商品コード「ABC-001」の情報だけを参照し、EC商品ページ用の説明文を作成してください。
合格条件は以下のとおりです。
- 商品名、税込価格、サイズ、素材、重量、対応機種を商品マスタと完全一致させる
- 商品マスタに記載のない性能、用途、効果、保証内容を追加しない
- 「絶対」「必ず」「完全」「最安」「No.1」を使用しない
- 出力は「商品名/キャッチコピー/商品説明/仕様一覧/確認結果」の順にする
- 商品説明は400字程度にする(店舗ページの表示枠に収まる長さです)
作成後、「確認結果」に各合格条件の照合結果と参照した元データを記載してください。1項目でも確認できない、矛盾する、または元データが不足している場合は本文を作成せず、「公開停止」と不足項目だけを出力してください。
関所は、着いてから手形を書かせません。着く前に審査基準を渡しておきます。
それでも、AI自身の確認だけで公開は確定させません。商品マスタとの自動比較か、人の目で公開ページを見る工程を、必ずもう一つ挟みます。AIに検品まで頼むことと、AIの検品を無条件で信じることは別の話です。
それでも、明日もまた値札を貼り間違える
AIに任せる範囲を決める。合格条件を先に書く。照合結果を残させる。影響の大きい処理は、人が実結果まで確認する。
ここまでやって、ようやく検品済みです。
うちの中央銀行総裁は、いまも値札のミスに一番早く気づきます。関所を通したつもりの商品ページで、また何か見落としているかもしれません。次にAIが「すべて完了しました」と報告してきたら、私はまず値段を見ます。差分を見ずに公開ボタンを押した2日間を、もう一度繰り返す気はないので。
コードを読めない人が2758コミット分の開発から持ち帰ったのは、たぶんこの地味な習慣です。12回に1回しか当たらない報告を、そのまま信じない。
ここに書いたやり方は、私の店で効いているだけの一例です。取り扱う商品や規約は店舗ごとに違うので、実際に使うときは自己責任で、最新のルールを確認しながら試してみてください。