普通機械学習分野にいるとなかなか検定論とは出会いません。多くの機械学習の教科書は推定のところだけを説明しているように思います。ということで、私も検定はあまりちゃんとは勉強してこなかったのですが、いろいろやっていると検定についても聞かれることが多いので、最低限の知識はもっておく必要があります。この本はたしか村田さんから教えてもらった本で、ケースごとに分類されていてユーザとしては非常に便利な本です。
検定論というのは茶道のようなものだと思います。薬が効くか効かないかはっきりさせる必要があります。その決め方は社会的な影響の大きいものなので、ルールが必要で、それを厳格に規定しているのが今の検定の枠組みだと思います。それが私には茶道のようなある種様式美として完成させたものに見えます。検定論の研究は基本的にこの枠組みの中での研究で、私のような部外者からすると、この枠組み自体を疑っていろいろ研究したくなると思います。これは標準化研究をしている私の周りの人に対して思うのと通じる感じでしょうか。
もちろん、多重検定の話だとか、選択的推論、ブートストラップ検定のように、機械学習やアルゴリズムの観点から面白い研究ネタはたくさんあるので、私はやっていないだけで、研究自体を否定する気は毛頭ありません。この本に載っているような検定法を使って実際に応用に使ったという経験もたくさんしています。
統計分野でも p 値を信じすぎるなという議論がありますが、実際のところ前提が成り立っていないと思われる仮説検定を使った論文が山のように量産されていて、検定というのが必要以上に権威をもっていることにやや危惧を感じてしまいます。
