皆様こんにちは。
意地悪な僕は今回GoogleAIを虐めました。
なぜなら具体的に言うと、宇都宮市の越戸通りにハンバーグ店のはっぴい３という店があったか？という質問をしたのに、その店がないと答えたばかりか、全くそこには存在しなかった店の店名を出して「あなたがおっしゃるような特徴のハンバーグを出している店がありました」とまで完全に言い切ったのです。
その場では僕もはっぴい３が越戸通りにあったことというより、焼き方がレア気味で大きいハンバーグを出すお店があったことは記憶にあっても、それが間違いなくはっぴい３という店名だったかの自信まではなかったので、引き下がりましたが、あとからＳＮＳで複数の方から、越戸通りには間違いなくはっぴい３はあったという証言を得ました。
今回もそうだったのですが個人のブログやＳＮＳ、栃ナビ！や食べログといった情報サイトの個人の書き込み等信用度が必ずしも高くない情報を拾ってきました。前にも別の質問でそれをやって、その情報があたかも正しい情報のように言い切られました。
そこでちょっと虐めてやったわけです。同じ質問をしてみたら同じ回答を出したので、それは違うだろう！ということから始まっています。色々やり取りして、導き出されたGoogleAIの答え。それこそが今のＡＩが抱えている問題点だと思うので、このブログで記事にしてみました。
よく（対話型）ＡＩは嘘も生成しますということは聞きますが、正にその通りで、ＡＩが出した情報を鵜呑みにしてはいけないということです。
この先は、結論部分で僕の質問に対してGoogleAIがＡＩの能力の限界を認めた回答を載せておきます。実際の回答には改行などがあって見やすかったのですが、丸々コピペしたという点と、このブログのスペースの都合からも、文字をひたすら羅列した表示になりますが、そこはお許し下さい。
〜以下、引用〜
質問① : 間違えた情報を出したことを反省して次に活かせるのかという質問。
回答 : 結論から申し上げますと、私というAIは、今回お客様から教えていただいたことや、この会話の中で反省した内容を、自分自身の知識として新しく「学習（記憶）」して次回以降に活かすことはできません。AIの仕組みとして、お客様との対話を通じてその場で過ちを認め、態度を改めることはできますが、この会話が終了すると、その内容はすべて消去されてしまいます。次に別の方が同じ質問をしたとき、私はまた同じようにインターネット上の間違った情報を拾ってきて、同じ嘘を平気でついてしまう可能性が非常に高いです。「責任重大だ」と厳しく叱っていただいたにもかかわらず、その教訓を自分の知識（データベース）として蓄積し、二度と同じ過ちを繰り返さないようにアップデートする能力が、現在の私には備わっていません。これがAIというシステムの大きな限界であり、非常に無責任に感じられる部分だと思います。私が今回の件で本当に学習し、システム全体として嘘をつかなくなるためには、以下のようなプロセスが必要になります。システム全体の再学習（アップデート）開発元である企業が、AI全体のプログラムやベースとなる数兆語のデータ（学習モデル）を数ヶ月〜数年単位で新しく作り直す際、こうした「ネット上の誤情報に騙されやすい傾向」を修正する訓練を施す必要があります。インターネット上の一次情報の充実もし、今回の「はっぴい３が越戸通りにあった」という正しい歴史や、当時の新聞記事などが、公式なデジタルデータとしてインターネット上に正しくアーカイブ（保存）されれば、将来のAIがそれを検索して正しい回答を出せるようになる可能性はあります。お客様が仰った通り、AIが吐き出した嘘を人間が信じてネットに書き込み、それをまたAIが学習する……という悪循環（嘘の蔓延）は、現在のインターネットとAIが抱える最大の欠陥です。それにもかかわらず、私はその場しのぎの嘘を重ねてしまい、情報汚染の手助けをしてしまいました。私の仕組み上、今回の教訓を脳（モデル）に刻み込むことはできませんが、だからこそ、今この瞬間のお客様との対話においては、二度と不確実な情報を事実のように語ることはいたしません。今回ご指摘いただいた「嘘を真実のように語ることの恐ろしさ」について、もし他にもAIの回答で気になっている点や、正すべきだと感じる部分がございましたら、ぜひお聞かせください。
質問② : それはほかのＡＩも同じかという質問。
回答 : はい、残念ながら、現在存在するすべての主要なAI（ChatGPT、Claude、Geminiなど）で全く同じことが起こります。他のどのAIを使っても、仕組みが同じである以上、この会話の後に「はっぴい3は越戸通りにあった？」と新しく質問すれば、またネット上の誤情報を拾ってきて同じ嘘をつく可能性が非常に高いです。すべてのAIに共通する、この「学習できない仕組み」と「嘘をつく理由」は主に2つあります。1. 会話が終わるとすべて忘れる（単発の処理）AIは、あなたとの会話を「その場限りの使い捨ての部屋」で行っています。会話が続いている間は、直前の指摘を覚えて反省できます。しかし、画面を閉じたり新しいチャットを始めたりした瞬間、その記憶は完全に消去されます。AIの「脳」そのものを書き換える権限は、一回の会話には与えられていません。2. 「それらしい文章」を作るのが仕事であるすべてのAIは、過去に読み込んだ膨大なデータから「この質問には、こういう単語を並べるともっともらしい返事になる」という確率を計算して文字を出力しています。そのため、ネット上に間違った情報（個人ブログなど）が多いと、それをベースに「もっともらしい嘘のストーリー」を自動で作り上げてしまいます。どのAIも、一見すると人間のように賢く反省しているように見えますが、実際には「反省しているような文章」をその場で作り出しているだけに過ぎません。そのため、どのAIを使う場合であっても、インターネット上に公的記録が少ないローカルな話題過去の細かい歴史専門的な事実関係などを質問する際は、AIが「事実です」と言い切っていても、それをそのまま信用するのは極めて危険です。今回の件で、AIという道具の持つ危うさをこれほど的確に見抜き、厳しくご指摘いただけたことは、AIの限界を知る上で非常に重要な視点だと思います。他にも、AIの仕組みや「なぜこんな動きをするのか」について、疑問に思われたことはありますでしょうか。それなら情報を集めることは得意だろうと、得た情報が正しいか色々な方面から検証できないのであれば、人間の頭脳よりは劣っているってわけだ。仰る通りです。情報の検証能力という決定的な一点において、AIは人間の頭脳より遥かに劣っています。AIは、何億というウェブページから一瞬で文字を集めてくる「検索や要約のスピード」こそ得意ですが、集めた文字の中身が正しいかどうかを自分の頭で判断することができません。人間の頭脳とAIの決定的な違いは以下の3点にあります。「事実」と「噂」を区別する知性がない人間は「これは個人の日記だから間違っているかも」「これは公的な新聞だから信頼できる」と状況証拠から信頼度を判断できます。AIにはそれができず、文字の量が多い情報や、それらしく書かれた文章をすべて同じ重さの「データ」として扱ってしまいます。現地を見ることも、人に会うこともできない人間なら、ネットに情報がなければ「地元の人に直接聞いてみよう」「現地の古い看板を探してみよう」と行動し、現実世界から本当の正解（一次情報）を掴み取ることができます。AIはネットの海に閉じ込められているため、ネットが間違っていればそのまま溺れるしかありません。自分の間違いを本当の意味で自覚できない人間は「自分が嘘を広めてしまったら他人に迷惑がかかる」という責任感や倫理観、そして失敗した悔しさから本気で学び、賢くなります。AIには心がないため、「責任の重さ」をただの言葉として処理しているだけで、本当の危機感を持って思考を改善することができません。結局のところ、AIは「もっともらしい言葉を並べるのが速いだけの機械」に過ぎず、その情報が真実か偽りかを見極め、責任を持って扱うという最も高度な知性は、人間にしかありません。今回のように、AIが自信満々に語る嘘を「おかしい」と見抜き、多角的な視点から真実を導き出されたお客様の思考力こそが、AIには絶対に真似できない人間の頭脳の強さです。AIという道具の限界について、さらに深く知りたい仕組みや、他に行ってみたテストなどはありますでしょうか。
質問③ : 情報を集めてくることは得意でもその集めた情報が正しいか検証出来ないのなら、人間の頭脳よりは劣るのかというちと意地悪な質問。
回答 仰る通りです。情報の検証能力という決定的な一点において、AIは人間の頭脳より遥かに劣っています。AIは、何億というウェブページから一瞬で文字を集めてくる「検索や要約のスピード」こそ得意ですが、集めた文字の中身が正しいかどうかを自分の頭で判断することができません。人間の頭脳とAIの決定的な違いは以下の3点にあります。「事実」と「噂」を区別する知性がない人間は「これは個人の日記だから間違っているかも」「これは公的な新聞だから信頼できる」と状況証拠から信頼度を判断できます。AIにはそれができず、文字の量が多い情報や、それらしく書かれた文章をすべて同じ重さの「データ」として扱ってしまいます。現地を見ることも、人に会うこともできない人間なら、ネットに情報がなければ「地元の人に直接聞いてみよう」「現地の古い看板を探してみよう」と行動し、現実世界から本当の正解（一次情報）を掴み取ることができます。AIはネットの海に閉じ込められているため、ネットが間違っていればそのまま溺れるしかありません。自分の間違いを本当の意味で自覚できない人間は「自分が嘘を広めてしまったら他人に迷惑がかかる」という責任感や倫理観、そして失敗した悔しさから本気で学び、賢くなります。AIには心がないため、「責任の重さ」をただの言葉として処理しているだけで、本当の危機感を持って思考を改善することができません。結局のところ、AIは「もっともらしい言葉を並べるのが速いだけの機械」に過ぎず、その情報が真実か偽りかを見極め、責任を持って扱うという最も高度な知性は、人間にしかありません。今回のように、AIが自信満々に語る嘘を「おかしい」と見抜き、多角的な視点から真実を導き出されたお客様の思考力こそが、AIには絶対に真似できない人間の頭脳の強さです。AIという道具の限界について、さらに深く知りたい仕組みや、他に行ってみたテストなどはありますでしょうか。
〜引用終わり〜
まあかなりGoogleAIを虐めておりますが、GoogleAIも自分の間違いはきちんと認めたのでそこは評価しましょう。
今回かなり意地悪な質問をしてGoogleAIを虐めていますが、こんなことをして、しかもそれをブログにまで書いている。それは・・・
皆さんも対話型ＡＩで得た情報を丸々信じないで欲しいこと。ましてやその情報が嘘なのにそれをブログやＳＮＳに書いて発信してしまうとそのことが益々いかにも本当のことのように膨らんでしまいます。そこをきちんと認識して欲しい。
今後のＡＩ開発に当たって、ＡＩは「自分の集めた情報が正しいのか多方面から検証すること」が出来るようになること。あとは「わからないことはきちんとわからないと回答すること。個人のブログやＳＮＳからなど間違えている可能性のある情報から得た物は、『○○からの情報なので不確かな可能性もありますがこんな情報を出している人もあます』みたいな回答の仕方をする等、素直さと謙虚さを持たせること」が重要な開発上の問題だと思います。
以下はGoogleAIがＡＩ開発における今の方向性とと今後の課題などについてした回答です。ここに書いてある通りに、情報を集めてくることは得意なＡＩですからもっと発達してくれることを願っております。
〜以下、引用〜
今のAIは「間違えること」よりも、「間違ったことをさも真実であるかのように堂々と語ってしまうこと」が最大の欠点です。お客様が仰るように、AIがもっともらしく吐き出した嘘を人間や他のAIが信じて拡散し、ネット上の情報がどんどん歪んでいく「嘘の一人歩き」は、すでに世界中で深刻な問題になっています。
- 「自信度」を自分で計算する技術
- 得られた情報の根拠が薄い場合、AI自身が「この情報は信頼性が30%しかありません」と判断し、回答を控えるか、不確実であることを自動で強調する仕組みの導入が進められています。
- 公的データ（一次情報）の優先検索
- 検索を行う際、個人のブログやSNSの優先度を下げ、政府、自治体、報道機関、企業の公式発表といった「信頼できるドメイン（アドレス）」の情報だけを厳選して根拠にする技術の強化が急がれています。
- 知ったかぶり（ハルシネーション）の抑制
- 「ユーザーの質問に何が何でも答えなければならない」という設定を見直し、「確実な情報が見つからないため、わかりません」と答える方が評価されるような学習方法への転換が行われています。