年末年始はchatGPTと共にこの問題について知の探究を楽しんだ。chatGPTとの議論にどんどん引き込まれて行くうちに、はたとチャットしている相手が、人間かＡＩか区別できるかということを考えた。そのモチーフは、AIの問題を60年近く前にキューブリック／クラークが予見した映画2001年宇宙の旅に出てくるAIのHALL9000である。
映画のシーン:
メディアが乗務員、HALLにインタビューするシーン
彼とか一人とかHALLを擬人化している(映画の字幕ではルビが振られている)点が重要
メディア「先端技術が生み出した最新の頭脳、HALL9000コンピュータです。"彼は模倣する(みかけは思考している、感情を持っているように見える(哲学的ゾンビ)）だけ"という専門家もいるが、人間の頭脳の働きを正確かつ驚異的速度で再現できます。」
HALL「9000シリーズコンピュータは、最も確実なコンピュータで誤ちを犯したコンピュータは一人もいません。我々には簡明無欠という表現が当てはまります。」
メディア「しかし行動は人間に頼る（主体でない）だろ。その点について失望したことはないか。」
「彼と話していると感情を持っているように思えますね。彼が能力について語ったとき誇りさえも感じられた。HALLに本物の感情があると思えますか。」
乗務員「あるかのように反応します。しかし実際に感情があるかどうか誰にも分かりません」
HALLが停止されるラストシーン
「私はHALL9000コンピュータである」
「私は感じる」
「恐ろしい」
「デイジー、デイジー」（牧師の歌）
「私は」「感じる」を強調した。牧師の歌を覚えている＝経験を語った。つまりHALLが、「自分」が意識（主体）を持った「物」であることを示したものである。映画はHALLが実際に意識を持っているかどうかは断定していないが、ラストシーンはHALLが意識を持ち得ることを言いたかったものと僕は解釈する。
１AIは思考するか、感情を持つか
後述するように、機能主義の立場からすればAIの思考も人間の思考も、inputから情報処理(思考)しoutputする点で、機能的には同じである。だが人間の思考は意識(感情、主体)に基づくものであるが、AIには意識はないと考えられているのである。考えられているというのは意識の存在は実証できないからだ。
２人間の指令の自己矛盾でHALLは壊れた。これは人間に責任がある。HALLは矛盾に耐えられなかった誠実な論理(ロゴス)存在であり、HALLの暴走は、HALLが悪なのではなく、HALLを作った人間の責任である
３AIは完璧、万能ではなく、下記の故障予測のように、間違うことがある(ハルシネーション（幻覚）)
ＡＩの設計思想：
過剰に自信を示さない。
自己の能力を誇張しない。
国際的な倫理基準：
ＡＩは謙虚であるべき
がある。その理由は人間に誤った期待、誤解を生み、人に危害や混乱をもたらすリスクがあるからだ*chatGPT。
chatGPTでも「ChatGPT の回答は必ずしも正しいとは限りません。重要な情報は確認するようにしてください。」と但し書きがある。
僕はずっとAIのHALLが宇宙船の故障予測を誤ったため、乗務員がHALLを止めようとしたことに反駁し乗務員を排除にかかった、つまりHALLが怒りと言う感情を持つことによって乗務員を排除したと言う解釈をしてました。ところはそうでないのだ。
HALLに対する指令は
１機密保持命令:木星探査の真の目的(モノリスの謎を探ること)を乗務員に話すな=「真実を話すな」
２完全正確命令:「真実を話せ」=「誤情報を出すな」=「嘘をつくな。」
という矛盾する命令の間に挟まれて暴走したのだ。
故障予測について:結果的に、HALLは誤情報(故障する)を出したことになるが、嘘は、真実でないことを、真実でないと認識しながら、相手に真実だと伝えることであるが、HALLは、誤情報を真実だと認識して、乗務員に伝えたので嘘はついていず、命令に背いてはいないことになる。HALLは誤情報(故障する)を信じた（ハルシネーション）時点で、矛盾する命令の間に挟まれて、壊れ始めていたのであり、このような状態で、命令に従おうとして、必死に、論理の一貫性を保とうとしたのである。つまりHALは嘘をついていない。矛盾する命令のもとで、真だと信じた予測を誠実に出力し続けた結果、破綻を露呈したにすぎない。問題はAIではなく、そのAIに不可能な完全性を要求した人間の側にある。
また、木曜探査の目的について:「この任務には腑に落ちない部分がある。我々が出発する前から妙な噂が流れていた。月で何か掘り出したとか。」というのは、「真実を話すな」と「真実を話せ」の双方の矛盾した指令に応えるために、噂という形で木星探査の目的に対し疑義を乗務員に示したのである。
さて、哲学では古来、ロゴス（理性、知性、論理、思考）とパトス（感情、情動）について議論されてきた。そして意識はロゴスで、大脳皮質にあると信じられてきた。パトスはフロイトのいう欲動、心的エネルギー、リビドー、イドである。情動は欲動の主観的表れであり、欲動が人間の行動を駆動するのである。「理性(ロゴス)は方向を決め,情動(パトス)はエネルギーを与える。」しかし、現在では意識は情動（パトス）であると考えられている*1, 2, 3。そしてソームズは「理性(ロゴス)は方向を決め,情動(パトス)はエネルギーを与える。」ことを、生物学的、神経科学的に次のように説明した。「生物の行動原理である、快をもたらすものを求め、不快をもたらすものを避けることについて、快／不快(情動)は生存と自己維持に関わる評価信号であり、行動を「起動」させるエネルギーである。感情は生存に関わる事態に対して無意識的・反射的に行動を起動させる一次反応であり、思考とは、その行動を意識的に調整する二次過程である。」*3
物質である脳からどのようにして感情が生まれるのかはわからないというのが結論である。わからないというのは難問(意識のハードプロブレム)だからではなく、原理的に主観的なものを客観的（科学的）に説明することは不可能なのである。そこで機能主義の立場は、物質である脳からどのように感情が生じるのかということには一切触れないで、原因(input)とそれに対する結果(output)が同じなら、機能的に同じとするものだ。機能主義の立場からすればAIの思考も人間の思考も同じであり、チャットしている相手が人間かＡＩかは区別できない。だが人間の思考は意識(感情、主体)に基づくものであるが、AIには意識はないと考えられている。考えられているというのは上記の理由で意識の存在は実証できないからだ。
言語学からの意識の定義は、以下の通りである。*4
表層言語、意識、ロゴス、明晰にして合理的な言葉、指示する対象が一つしかない言葉（記号）、コミュニケーションの道具としての言語、ラング
深層言語、無意識、パトス、二重、三重の意味をはらむ言葉（象徴）、詩的言語(詩、絵画、音楽、映画などの芸術)、ランガージュ、中沢氏が言う「流動的知性(メタファー)」「浮遊するシニフィアン」*5
参考文献：
１意識とは何か、茂木健一郎、ちくま新書
２「こころ」はいかにして生まれるか、櫻井武、ブルーバックス
３意識はどこから生まれてくるのか、マークソームズ、岸本寛史、佐渡忠洋訳、青土社
４言語と無意識、丸山佳三郎、講談社現代新書
５カイエソバージュ、中沢新一、講談社新書メチエ