情報理論は面白い。
ここ何日かエントロピーのことを
考えていて、その流れで
情報理論おもしれー！
となっている。
情報理論とは。
情報理論（じょうほうりろん）は、情報・通信を数学的に論じる学問である。
---
情報理論の基本となる概念は人間のコミュニケーション手段として最も広く使われている「言語」である。
---
情報理論では、メッセージの重要性や意味には立ち入らない。すなわち、データの質は扱わず、確率論的に扱えるデータの量だけを扱う。
なんとも説明が難しいものだが、
言語をデータに置き換えたりするのが情報理論。
そんでもって情報理論においてのエントロピーについて。
情報の数学的理論は確率論と統計学に基づいている。最も重要な情報の定量的尺度はエントロピーと伝達情報量である。エントロピーは確率変数の情報の尺度であり、メッセージの圧縮しやすさの度合いである。伝達情報量は2つの確率変数間に共通する情報の尺度であり、通信路における通信速度を決定するのに使われる。
---
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を選択情報量（自己エントロピーとも）、後者を平均情報量（エントロピーとも）と呼ぶ。
これもなんと説明していいかわからんけど
とにかく重要なのは「確率」だ、とだけは言える。
私たちが日常で発する「ことば」には
目には見えない「確率（数学的データ）」が
含まれている。
情報理論では、それを目に見えるものにしているのである。
この説明合ってんのかな、、、？
わからんが、わたしのイメージはそんな感じである。
このサイトわかりやすかった。
たとえば、
正解がどちらなのか？（２択）は１bitの情報量
正解はどれなのか？（４択）は２bitの情報量
言葉をお借りすると、
より確率が少ない（珍しい）情報を知ることほど情報量は大きくなる
裏表あるコインがあるとして
それが表しか出ないコインであったら
０bitの情報量になる。
情報を持たないということ。
表しか出ないとわかっているコインは
初めから答えが決まっているのだから
情報は必要ない。だから０bit。
曖昧な事象・珍しい事象・確率が少ない事象
ほど、情報量が多いということ。
宝くじの一等が当たったというニュースと
宝くじのはずれが当たったというニュースだと
一等の方が確率が低いのだから
前者の方が情報量が多い。
情報理論では情報の中に質を含んでいない。
個人的な価値観とか、社会的な意味とか。
けれど結局は量が多い方に価値を置くのが人間である。
そこに質が含まれてなくても
量が質を表すような気がするけど。
確率が低いものを好む人間。
そこには何かワクワクするものが含まれている。
「人類滅亡」は起きるか？
「宇宙人」は存在するか？
などは情報量が多そう。
最近アメリカが公開したUFOらしきものの映像や
UFO報告書などがあるけれど、
それが公開されたことで
「宇宙人は存在するか？」の情報量は
減ってしまった気がする。
ものごとは曖昧にしておいた方がワクワクするのに
存在が明かされ始めると人間は興味を失っていくのだ。
私たちの生きている世界は
エントロピーが増え続けている。
最近は、多様性を認めよう！などという
スローガンもよく耳にするけれど
現状は多様過ぎてカオス。
それでもまだ新しいものを生み出そうとする人間。
インスタを見てると特にそう思う。
お洋服、アクセサリーのD2Cサイトなど。
コーヒー屋も多すぎる。
どーでもいいが
なぜシンプルナチュラルっぽい人たちは
コーヒー屋を始めがちなのか？？いつも思う。
見せ方や中身がちょっと違うだけで
カテゴリが同じもの多すぎ。
同じカテゴリの中で少し違うものを増やす。
私たちはそれらを多様性と言う。
元を辿れば、結局は０か１。
１のコピーを増やしているだけだから
カテゴリを増やせない。
データ圧縮形式でおなじみの
ZIPとかLZHとかって
可逆圧縮しているんだと知った！！
なるほどな。冗長性を利用するんだと。
同じような情報をまとめていけば可逆できる。
「解脱」って思考の中で可逆することなのである。
可逆を妨げているのは感情。
情報は0か1しかない、ということを理解して
可逆していけば人間の始まりがわかる。
精神世界にどっぷりな人は非可逆圧縮しているのね。
非可逆圧縮しても最初の0と1には辿り着けない。
実際、必要のない情報など存在しないし
それらは綺麗にきっちりと仕分けることができる。
とても美しく0と1に戻っていく。
私たちはカオスを求めている。
エントロピーを増やすことに価値を置いてる。
苦しんでいるようで、楽しんでる。
苦しみ＝楽しみ
質＝量
なんか情報理論から話が逸れたけど
これはきっとつながるはなし。
もうちょっと頭の中をまとめたい。
なんか、もうすこしで、「エウレカ！」
となりそうな雰囲気ある最近の頭のなか。