今回はこういうお題でいきます。これは生成AIに関する用語で、
Wikiでは、「生成AIによって生成された、虚偽または誤解を招く情報を
事実かのように提示する応答のことである」と出てきます。
みなさんは経験されたことがおありでしょうか？ 自分は４年ほど前に
あります。このブログで、「サメ映画」についての記事を書くため、
それについてある質問をしたんですね。そしたら、
その答え自体は的確でしたが、文章の途中に、「今年の干支はちょうど
サメ年でもあり」という一文が入っていたんです。さすがに、これを見た
ときには目が点になりました。こういうのがハルシネーションの典型例です。
人間の大人であれば、干支の中にサメ年がないことは誰でもわかりますよね。
AIだって「干支にはどのようなものがありますか？」と質問すれば、
ちゃんと正しい答えを出してくれるはずです。では、どうして
こんなことが起きるのか？ 意図的に嘘をついているのか？
これはそうではありません。もちろん、こちらを意図的に騙してやろうなどという
ものではなく、プログラムによる傾向なんですね。チャットGPTなどは
大規模言語モデル（LLM）を用いていますが、
これは整った文章を作成することを第一の目的としており、それまでの文章の
言葉のつなぎから、次につながるようなふさわしい言葉を
予測しようとするために起きることなんです。
このため、生成されたコンテンツ内にもっともらしく聞こえる嘘をランダムに
埋め込む可能性があり、AI研究者はこの問題を認識していて、最大２７％の
確率でハルシネーションを起こし、生成されたテキストの４６％に事実関係の
誤りがあるだろうと推定しています。
ハルシネーションは、大きく内在的ハルシネーションと外在的ハルシネーションの
２つに分けられ、内在的は、データと矛盾する内容を言うこと。外在的は、
まったく世界に存在しない架空の出来事をつくり出していうことです。
下にあげた図がわかりやすいかと思います。
例えば、これまで見られた例として、ある裁判でまったく存在しない架空の判例を
述べたことがありました。そのときは、事件も、被告の名前も、罪状も
まったく存在しないものでしたが、AIがゼロから作り上げたんです。
同じような例として、ある論文の引用で、まったく架空の論文をつくった
場合もあります。このときはその引用当該部分だけでなく、著者名や出版社名まで
架空のものを作り上げていました。
しかし、これらはもちろん、こちらを騙そうとしているのではなく、やはり
プログラム上の問題なんです。ですから、いずれは改善・向上していく
のだろうと考えられます。
現状の対策としては、まずは質問を限定的に、的確に行うことですね。ともすれば
人間はどう答えていいかわからないような、ぼんやりした質問を
することがあります。そうするとおかしな答えが返ってくることも多い。
つまり、人間側の問題も大きいんですね。
次に、AIの回答をそのまま鵜呑みにせず、必ず人間の最終チェック者を置くこと、
上記したような法律関係、医療、金融などでは、誤りが致命的な結果を
もたらすことがあり、これはやはり必要です。
この場合、AIでは責任を負わせることができませんが、人間の最終チェック者には
責任を負わせることができます。企業などでは、システムとして
こういう形を導入する必要があるのかもしれません。
あとは、AIに依頼した内容が高度であればあるほど、その中にハルシネーションが
まぎれ込んでいても、気がつきにくくなります。現在、学生などが
レポートや論文をAIに書かせているなどと言われますが、学生本人には
気づかない間違いが入っているのかもしれません。
ということで、やはり的確に「使う」ということが大事なんです。使う
主体が人間であるということは譲ってはいけないんですね。
ということで、今回はこのへんで。
