この記事は、引き継いだシステムや外注で作ったツールのコードを、ChatGPT や Claude に貼って相談しようとしている事業者の方に向けて書いています。
「伏せてから貼る」の、伏せ方で壊れた
コードを AI に貼る前に、社内の事情や鍵を伏せる。ここまではよく言われます。当方が確かめたのは、その伏せ方です。
材料は、試しに作ったコード（67 行・実際の業務のコードではありません）です。社内の語を含む行を伏せる方法を 5 通り試しました。
- 社内の語を含む行を、行ごと消すと、見た目の文法の検査は通ったまま、テストの登録が 4 本から 2 本に減りました。消した行の中に、テストを登録する行が混ざっていたためです。貼った先の AI は、半分のテストしか無いコードを見て答えることになります。
- 一覧に当たった語の行だけ伏せると、一覧に無いコメント 6 行がそのまま残りました。一覧は、思いついた語しか載りません。
消し方しだいで壊れる、残し方しだいで漏れる。どちらも、伏せた後の見た目では気づきにくい壊れ方です。
向きを逆にする
漏れを減らしたのは、向きを逆にしたときでした。「一覧に当たったものを伏せる」ではなく、コメントは既定で全部伏せて、残すものだけを選ぶ。こうすると、一覧に無いコメントが漏れることは、作りの上で起きません。
そのかわり、伏せすぎることがあります。そして、伏せた後のコードが元と同じに動くかは、別に確かめる必要があります（上の「テストが半分消えた」が、その確かめで見つかったものです）。
貼る前に、3 つ
- 伏せた版を作ってから読む。 鍵やパスワードらしいもの、メールアドレス、社内の URL、コメント、社名や取引先の略称。伏せた版を自分の目で読んでから渡します
- 鍵が入っていたら、作り直しも考える。 一度でも外に出た鍵は、伏せても取り消せません
- 契約と、使う AI サービスの設定と規約を見る。 学習に使うかどうかの設定があるサービスでは、その設定と、入力がどれだけ保存されるかを確かめます。貼ってよいかを決めるのは、AI の性能ではなく、貼るものと契約です
本家の読み物の下に、コードを貼ると伏せた版を作る画面を置きました。ブラウザの中だけで点検し、どこにも送りません。架空の店の設定で試せます。見つけるのはよく見る形の鍵やパスワードだけなので、見つからなかった＝入っていない、ではありません。
依頼するなら、受け取るもの: 何を伏せたかの一覧と、伏せた版が元と同じに動いたかの確かめの結果。
全文は本家に
貼っていいかを決める 4 つの原則、自分でできる確認、点検で分かることは、本家の記事にまとめています。
Sumitsuke は、事業者の方（法人・個人事業主）から、引き継いだシステムや AI で作ったツールの点検と修理を納品型で受けています。