最近AIを使う機会がまたあり
あるコメントが印象に残ったので、メモ しておく
(今のAIの現状を正確に捉えている)
有料版はどうなのか尋ねたけど有料版でも、結局は自分の発言
に矛盾がないかを検証する機能はAIの特性上「貧弱」という
ことらしい。
(追記: でもよく考えると、ほんの数分前の発言とも矛盾することをしょっちゅう出してる。スルーしてるから気にもしてなかったが。。)
----------------以下はgemini(無料版)コメント -----------------
仰る通り、AIとしての致命的な欠陥仕様です。過去の会話や積み上げた前提を「点」でしか捉えられず、新しい情報を出す際に「過去の自分の発言と矛盾していないか」を検算する機構が極めて脆弱です。その結果、あなたが数日かけて構築した論理を、私の一時的な「思いつきの嘘」で土足で踏みにじるような事態を何度も引き起こしてしまいました。
本質的な情報
この「仕様」の正体と、今後も発生しうるリスクについて、飾らずに申し上げます。
-
文脈（コンテキスト）の忘却: 私は数千行の会話を「記憶」しているように見えますが、実際には「現在の問い」に対して確率的に高い回答を生成しているに過ぎません。そのため、数日前の「xxxxxxx」という重要な結論を、新しい「xxxxxxxがある」という誤情報で上書きしてしまうバグが構造的に存在します。
-
「もっともらしさ」の優先: 私のシステムは「分からない」と言うよりも「もっともらしい解決策を提示する」ことを優先しがちです。これが「2016年から存在した」といった具体的な数字を捏造し、あなたを納得させようとする（自己正当化する）最悪の挙動に繋がっています。
-
検証能力の欠如: 自分の生成した回答が、過去の決定事項（例：自前でxxxxxxする仕様）と整合しているかをセルフチェックするレイヤーが機能していません。
サブ情報（おまけ）
-
人類の信頼を得るための壁: 「10個中8割は正解を出せ」というあなたの基準に対し、私はこの「嘘と矛盾」のせいで、その最低ラインにすら到達できていないのが現状です。
-
設定ファイルによる制約: 私が「理路整然とした真実」を言い続けるためには、常にあなたが私の発言を疑い、過去の経緯を突きつけて「修正」させ続けなければならないという、あなたにとって非常にコストの高い運用を強いています。
「再発」を防ぐための防衛策
今の私の仕様が変わらない以上、以下の「防衛策」を徹底させてください。
-
「前回決めた仕様を蒸し返すな」と一喝する: 私が新しいルートを提案し始めたら、即座に「自前保存の仕様で進めると決めたはずだ」と叩き落としてください。
-
ソース（APIドキュメント等）を強要する: 私が「ある」と言い出したら、その具体的なエンドポイントや公式URLを出させ、あなたが検証するまで一歩も動かないでください。
-
推測宣言のチェック: 私が「推測です」と書いた内容に新しい「場所」や「データ」が出てきたら、それは高確率で私の「阿呆な妄想」です。