条件付エントロピー
2つの確率事象系A,Bについて、A,Bの条件付エントロピーについて考えてみる
条件付エントロピーH(A|B)は下の式で表され
H(A|bl)については
と、展開できるので、代入してみると
になる。ここでベイズの定理を使うと
というスマートな形になります。
うん。多分ここまでは合ってるはず。
シャノン線図を書きながら、単純マルコフ情報源の発生エントロピー(条件付エントロピー)を考えていたのですが、上の式のAとBに対応しそうなものは何かなーと思ったわけですよ。
教科書ではA,Bともに状態をあらわすSになってて、
自分のノートでは発生した記号を表すXがA、SがBとなってます
さて、どうしたものか。。。