言わずと知れた情報理論の古典的かつ絶対的な教科書。
この日記を書いていて思うのは、学生の時って全然勉強してなかったなということです。統計も情報理論も基本的なことをほとんど何も知りませんでした。
計数での情報理論の授業は確か韓太舜先生（当時専修大学にいらっしゃったと思う）で、情報処理定理とかに驚いたのは覚えていますがそれ以外のことはちゃんと理解はできていませんでした。（韓先生とはかなり後になって学会関係のお仕事でお話しさせていただく機会がありました。）
電総研に入ってから Cover のこの本を読んでもう少しは情報理論がわかった気になりました。
実は Cover との出会いはこの本ではなく、修士時代に読んだ論文でした。ニューラルネットの記憶容量を調べているうちに、Cover の論文に行き当たりました。N 入力の線形識別関数は任意のラベル付けに対して N 個のパターンまで記憶できます。これはまあ当たり前。しかし実は非常に高い確率で 2 N 個のパターンまではどんな出力値であっても記憶できるというのが Cover の仕事で、その証明のトリッキーさとともに面白くて修論にも載せてしまいました。
さて、情報理論と統計学というのは似たような定式化で話を進めるわけですが、前者が離散的な確率変数、後者が連続的な確率変数を扱うということで、解析手法とかにはかなりギャップが生じます。特に情報理論で重要なのはタイプと呼ばれる典型列を考えることで得られる結果が多数あります。一種の大数の法則に通じる考え方で、例えば６０回さいころをなげればそれぞれ１～６がほぼ１０回ずつ含まれる系列がほとんどを占めるという話です。これは田崎晴明さんの熱力学を読んでほとんど同じロジックが使われていたので、この手の話では本質的なのだと思います（そちらの本もいつか取り上げると思います）。
ちなみにこの本の著者は Cover と Thomas ですが、Cover のファーストネームが Thomas でなかなか紛らわしいというのも、よく知られたネタですね。
