頻度主義かベイズかというのは統計学の一大論争である（or であった）という話はよく聞きますが、統計コミュニティとの接点が薄かったこともあり、直接その論争を目にすることはあまりありませんでした。
頻度主義が完全に客観的かというと、i.i.d. の仮定とか、場合によってはガウス性の仮定とか、いっぱい仮定を置いているわけで、ベイズの事前分布をそんなに攻撃できる立場にないというか、はた目から見れば五十歩百歩という気もします。
一方で、逆にベイズでやればすべてOKのような風潮もあって（自分も場合によってはそういう言い方をしてしまうこともありますが）、それはそれで事前分布という弱点が出てくるわけなので、そこはちゃんと認識していないとまずいだろうと思うことはあります。ベイズの理論は往々にして事前分布にあまり依存しない形で展開されることも多いですが、現実には事前分布の力が大きいこともあります。
この本では歴史的な観点からベイズが異端視されてきた流れを説明していて、歴史認識という意味では有用ですが、今日の機械学習に何か教訓があるかどうかという点ではよくわかりません。一般論として、「本流ではないからというだけの理由で何かを排除するというのはよくない」ということだと思いますが、そういうのって何かありますかね。
ただ、少し思い当たるとすれば、ヒューリスティックに考えられた枠組みで理論的な裏付けが薄いようなもの（以前ここでもとりあげた進化計算系とか）は、もしかすると学術的には攻撃に弱いかもしれませんが、その攻撃に耐えてちゃんと整備されていけば強固な枠組みとして成立するのではないかなという気もします。ベイズにもそういう産みの苦しみのようなものがあって、いろんなベイジアンの理論家が弱点をなくしていったのが今日の姿かもしれません。
