いや、これ、原理的に当然なのに、なぜみんなびっくりしてんの？
んでもって、ベンチマークを用意したら、そのベンチマークに過剰適応する。
そしてそのモデルは現実世界ではクソ。
ってのは Kaggle 流行った時に十分周知されたと思ってたんだが。
おいらはシステムエンジニアなので、AI 使って何が起こりそうか、ざっくり検証済み。
確かに、ジュニア程度のプログラマよりは局所的なコーディングはましに「見える」。
調子が良ければ、当時で95％くらいは。
人間のジュニアプログラマなら、よほどのアタオカじゃなければ、指導すればちゃんと伸びるか、向いてないと諦めて転職していってくれる。
でも、AIは、このアタオカ系エンジニアに似てる。
「いや、ここおかしいよね？」
って指摘しても、根本的なことを一切理解しないで、その場限りの対応するだけ。
毎度、必死にググってコピーしてきて、「俺、できるんで。こんなところでこんなプログラム組んでるような人間じゃないんで」みたいな。
何をどこから引っ張ってきたかわからんけど。
人間のエンジニアなら、ミスが一貫してるんだが、このタイプのエンジニア、生成AIは一貫してない。
いや、それだったら自分で全部組むわ。
ってくらい油断できない。
AIエージェント推しの会社にちょっと関わった。
何やら、人事規則とか色々、ややこしいことも、AIエージェント使えば全て解決！
いやいや、そもそもややこしいところを整理せぇや、と。
設計時の検討事項や会議録、設計書はまとめてAIに食わせれば、いい感じに疑問に答えてくれるようになる！
いやいや、そもそもドキュメントを整理せぇや、と。
プログラミングも生成AI全振り！
いやいや、そもそも設計段階で整理せぇや、と。
物事を整理して構造化する能力に著しく欠けている人間がお手軽にAI使うってことは、制御不能な怪物にせっせと栄養を与えて育ててることって、マジで理解したほうがいい。
Excelのマクロ、RPA、ノーコードツール。
超短期間、超少量であれば役に立つとしても、長期視点に立って、それが日々積み上がっていくことを考えると、これにベットするのは歴史に学ばんアホウとしか言いようがない。
しかも、生成AIは、作り出す物量が比じゃない。
粗製濫造なんてもんじゃねぇぞ。
企業の事業継続の重大な障害になる地雷を埋めまくってるって気づけ。
システムに関しては、生成AI使うまでもなく、整理構造化されないまま、局所的実装を続けた結果、三年五年経って、不具合の根本的解決も、新規機能追加も困難になってる例は、多分一般人、利用者が想像するより多い。
Scala → GoLang で作り直ししたいってプロダクトでは、曰く、「より生産性が高い言語を使いたい」。
いやいや。
言語の問題なんじゃなく、大元の設計の問題、「エンジニアのおつむ」の問題だよ。
言語変えても変わらん。
この傾向は生成AI使ったらより顕著になっていくだろう。
三年後、五年後、圧倒的コード量を前に、AIに頼り切る程度のエンジニアでは何もできなくなって、放棄されるサービスが大量発生するだろう。
この状態になったサービスは、流石においらでも正常化するのに年単位かかる。
悪いことは言わん。
生成AI使うぞー！
の前に、ちゃんと設計しろ。
ちゃんと設計したら、生成AIを多用する必要なくなるから。