toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

Bernhard Scholkopf, Alexander J. Smola "Learning With Kernels: Support Vector Machines, Regularization, Optimization and Beyond" MIT Press 2001

前にも書いたかもしれませんが、私がサポートベクターマシンを知ったのはかなり遅い方だったと思います。そのころは津田さんといっしょに研究させていただいていたのもあり、遅ればせながらいろいろな情報を得ることができ、結果としていろいろな解説記事を書かせていただいたり、統数研の公開講座や通信学会のチュートリアルを経て、最終的には森北本や岩波本にまで結びついていくことになります。

 

情報幾何にしてもそうですが、ただ知識として得るだけではなくて、それで論文を書くところまで到達するには、ある程度集中してそれに向き合う必要があるように思います。甘利研の勉強合宿で博士課程の人がそれを課されるというのも今思えばそういった狙いもあったのかもしれません。

 

カーネル法についてはいろいろ知った気でいたのですが、結構穴も多くて知らないことも結構ありました。統数研で研究会みたいなのがあったときに、私が知った風な質問をしたところ、たまたま隣に座っていた、この本の著者でもある Smola が(おまえわかってないな)という感じでコメントしてくれて自分の無知ぶりを悟ったことがあります。スパースモデリングの時も田中利幸さんから何か聞かれてちゃんと答えられずに焦った覚えもあります。まあ田中さんがわからくて私が知っているということはほとんどないとは思いますが。 Scholkopf も Smola も日本人との関係性が強くて、村田さん、小野田さん、津田さん、川鍋さんをはじめ私の近しい人たちは彼らとお友達関係にあると思いますが、私は後発組というのもあり、英語もあまり話したくないので、残念ながらほとんど面識がないに等しいです。

 

あと、この本はカーネル法の初期の本だけあって SVM がやはりメインで書かれています。理論も Vapnik 流の PAC 評価でした。この頃は仮定の強い AIC なんかの平均評価よりも仮定の少ないパーセンタイル評価の PAC の方が偉いみたいに思っていたのですが、結局のところこういう理論というのは実用性というよりも心のよりどころといった意味合いが強い気がしているので、最近は解析できればどっちでもいいんじゃないかと思うようになりました。