toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

Le on Bottou, Olivier Chapelle, Dennis DeCoste, Jason Weston (eds) "Large-scale kernel machines" MIT Press 2007

カーネル本で書けなかった内容でもっとも重要なものは、計算量を減らすためのいろいろなアルゴリズムです。これは伊庭さんからもよく指摘されています。まあこの辺は福水さんの本とか持橋さん・大羽さんのガウス過程回帰に詳しく書かれているのであえて私の本になくても大丈夫でしょう。低次元化する技術は実用的には重要ですが、岩波本はあまり実用的なところは重視せず、カーネル法というものが本質的に持っていることを書こうとしたものなので、そのあたりの話は書きませんでした。

 

この本は大量データに対するカーネル法の計算の話で、たくさんの著者が書いているとはいえ、岩波本よりはるかに巨大な本なので独立してそれだけリッチな内容ということだと思います。

 

ガウス過程回帰はベイズ最適化がらみである程度大量データでやりますが、SVMのような識別モデルはもはやアンサンブル学習がインプリの容易さや大量データへのスケールという点で一時期に比べるとあまり使われなくなった印象です。それよりも福水さんのカーネルベイズ(これは計算の工夫必要ですが)とか、NTKのような理論の道具としてのカーネル法というのがじゅうようになっている気がします。

 

なお、ガウス過程の持橋さんとはなかなか面識がなかったのですが、2010年に福水さんと共同プログラム委員長をやった次の年にプログラム委員長をお願いした時にちゃんとお話ししたのが最初かと思います。大羽さんは石井さんが奈良先端にいた時分にマニアックな人がいるということで少しずつ知り合いになりました。早稲田の村田研で沖縄に最初に行ったとき、いっしょに晩御飯を食べた記憶があります。