データ分析において気持ち悪いことの一つは，モデルが正しいと仮定したときの結論であるということで，ベイズでの推論もその範囲から出るわけではありません．逆に言うと，ベイズはモデルの仮定がいっぱい入っていたり，事前分布が決められないといった理由で，科学的推論に使いづらいというような話はありますが，そもそも統計モデル全体がそうした仮定に基づいているわけです（たとえ線形モデルであっても）．
ただ，そこを疑いだすときりがないので割り切って仮定を信じるか，データからわかることを最大限モデル同定にも使って行くということかと思います．そういう観点から，経験ベイズという方法が出てきたのだと思いますが，昔はそのあたりの論理がちゃんとわかっていなかったのでこの本を買いましたが，結局この本で勉強したことは少なくて，ほかの本とか情報とかで勉強しました．
経験ベイズも周辺尤度最大モデル選択とか，自由エネルギー最大化とか，いろいろ名前はついていますが，数学的には単純な尤度原理に過ぎないので，名前がいろいろついているのは初学者には混乱のもとだと思います．
そういえば，確率の話で周辺化という操作はその重要性にもかかわらず中学高校の確率では出てきません．少なくとも周辺化という言葉を習った記憶はありません．ちょっと意味が違うかもしれませんが，線形代数で特異値分解があまり出てこないように，応用分野での重要性と基礎での重要性はちょっと違うということかもしれません．そのあたりに数理工学という分野の存在意義があるのかもしれないなと思いました．
