条件付エントロピー | spin on the RITZ

条件付エントロピー

2つの確率事象系A,Bについて、A,Bの条件付エントロピーについて考えてみる



条件付エントロピーH(A|B)は下の式で表され



H(A|bl)については



と、展開できるので、代入してみると




になる。ここでベイズの定理を使うと



というスマートな形になります。



うん。多分ここまでは合ってるはず。



シャノン線図を書きながら、単純マルコフ情報源の発生エントロピー(条件付エントロピー)を考えていたのですが、上の式のAとBに対応しそうなものは何かなーと思ったわけですよ。


教科書ではA,Bともに状態をあらわすSになってて、

自分のノートでは発生した記号を表すXがA、SがBとなってます



さて、どうしたものか。。。