発生エントロピー＝条件付エントロピー？

単純マルコフ情報源のお勉強をしてます。

とりあえず、マルコフ情報源は条件付確率が絡んでくるので、条件付エントロピーみたいな結果になるんだろうとは思ってましたが、やっぱりなるみたいです。名前は発生エントロピーだけど。

発生エントロピーと条件付エントロピーの式が、形的には同じになることはわかりました。

が、条件付エントロピーのところで出てきた「相互情報量」に対応するモノを教えてもらってないような教えてもらったような。

先週は先生がベルギーに行ってて休校だったので、先々週の授業だったと思うんですが、最後にちょろっと「じゃあ、この独立生起情報源とこの単純マルコフ情報源のエントロピーの差はどうなったんだってのは次の授業で話します」的なことを言ってたような気がする。

それにしても教科書がわかりづらいorz

来週はクラフトの不等式が出てきそうです。

1年の時の研究紹介で確率統計の先生がいたけど、確かそのとき説明してたやつだ。