『情報エントロピー』などと聞くと、何やら難解な話のように聞こえて耳が遠くなるかも知れません。
しかし、そんな難しいことではありません。
ネジの散乱
自分は、若い頃、工場で仕事をしている時、誤ってネジの整理棚を倒してしまったことがある。
一瞬、目の前が真っ白になってしまった。
なぜなら、何千、何万とある種類の異なるネジが、一瞬にして床に散乱してしまったからです。
この混沌とした状態をエントロピーが増大したといいます。
それに対し、元のように、ネジの種類ごとに整理された状態をエントロピーが減少した状態といいます。
自分は、これから膨大な手間とエネルギーをつぎ込んで、このネジを一つ一つ整理し、エントロピーが減少した元の状態にしなければなりません。
「いったい何時間、いや何日、いや何年かかるだろうか？」と考えただけで気が遠くなり、頭が真っ白になったのです。
ここで突然ですが情報も同様です。
例えば、本を読む場合もエネルギーが必要です。混乱した情報を処理する為にはエネルギーが必要だからです。
脳を使えば腹も減ってくるでしょう。脳は、わずか2Kg足らずの重さなのに、食事全体の18%ものエネルギーを消耗している大食漢なのです。
夜、寝るのは、昼間使っている脳を休ませ、昼間、休んでいた別な脳領域が活動し夢を見るので結果、一日中働き続けていることになるのです。
ある芸術家に「いつそんなアイデアを思いつくのですか？」という質問をしたところ、「夜、寝る前です。突如、それが映像となって現れるので、飛び起きてそのアイデアをメモしていくのです。」と笑っておられた。
音楽も、うとうとしている時に聴く方が、はるかに美しく聞こえるので、きっと使う脳領域が違うのでしょう。
そう言えば、自分も子供の頃、寝る前に突如眼前に色彩が現れ、それば美しい光景が現れるのを一時の楽しみにしていたことがある。
話を戻し、エネルギーを使って散乱した情報を整理し、整理できた状態をエントロピーが減少した状態といいます。
コンピュータも情報を処理する為には、電気エネルギーが必要になり、高速のCPUほど電気を多く食います。
電卓は僅かな電力で済むので、小さなソーラーパネルで充分間に合います。
初めて体験することには、多くの情報処理を必要とする為、より多くのエネルギーを必要とするでしょう。
例えば、初めて学ぶ言語の修得には、多大なエネルギーと時間を必要としますが、こなれてくれば次第にエネルギーを必要としなくなり疲れなくなります。
富士山を登る場合、急いで短時間で登っても、ゆっくり時間をかけて登っても、その仕事量は変わりません。
立ち止まらず少しずつ登れば、どんな山でもいつかは頂上に到着します。
ここで突然ですが、
あなたは、今、地図にも載っていない秘境の未踏峰の山を単独登頂していたとします。
その山は、複雑な地形をしていて、過去、一度も経験したことの無い山です。
ある峰の頂上に着いたと思ったら、急に辺りに霧が立ち込め、一寸先も見えなくなりました。
このままでは、あなたはそこから一歩も前には進めず、早くしないと、夜になって益々下山は困難になります。
さて、あなたはどうやって麓に降りることが出来るでしょうか。
そこで考えました。
「谷底に降りて、そこに川が流れていれば、その流れ下る方向に進めば麓に着けるはずだ。よし、谷底を探そう。」と決心します。
そこで、ぐるりと辺りを小さく周回し、その中で一番低い所が谷底に近いと考え、その方向に一歩進みます。
そこで、またぐるりと辺りを周回し、その中で一番低い所に一歩進みます。
この方法で、一歩一歩進めば、やがて一番谷底に到着することになるでしょう。
しかし、この方法では、本当に谷底なのかどうかは分かりません。
本当は、あの山を越えた向こうに更に深い谷底があるかも知れないからです。
そこは、ローカルミニマム（local minimum）という小さな思い込みの谷間かも知れません。
数学の微積分の時間で、極大値とか極小値を求めたことがあるそれです。
人間の脳も、こうして谷間というエントロピーが一番低い所が真値だと思うのですが、それは単なる小さな思い込みの谷間かも知れないのです。
一度、シャッフルして、再度挑戦する必要があります。
そうした学習を繰り返すことで、水が流れる本当の谷間に到着した時が、学習が完了したということになるのでしょう。
人間の脳は、過去の経験や知識を基に、無意識にそんな作業をしているはずです。
壊す（エントロピーを増大する）のは、ネジの棚を倒すように一瞬で簡単だが、それを整理し元に戻す（エントロピーを減少する）のは膨大な時間とエネルギーが必要になります。
☕コーヒーブレーク
ところで、あの散乱したネジは、それからどうなったかと言うと、一晩、じっくり寝ながら考え、いい方法を思いついたのです。
それは、漁師の網のことを考えたからです。
網は、その目の大きさで捕れる魚の大きさが決まって来ます。
小さな魚は大きな網の目をすり抜けるが、小さな網の目には引っ掛かります。
大きな魚は、より大きな網の目をすり抜け、それが通れない網の目で引っ掛かります。
そこで、薄いトタン板に「土ふるい」のように小さな穴をいっぱい開け、それにネジの山をわんさかと積み上げ揺すります。
すると、ボロボロと小さなネジだけがふるいにかけられ分別されます。
次に、もう少し大きな穴にして、同じ作業をするのです。
それを、次第に大きな穴にしていけば、大きさの順にネジは振り分けることができます。
それでも何日かは掛かりましたが、見事、元の状態、エントロピーが低い状態に整理分別されたのです。
めでたし、めでたし。
「その前に、なんでこんな不安定な整理棚にネジを大量に保管しているんだ。」と膨大な作業を終えた後、ずさんな管理に怒りが込み上げてきたのだった。