toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

E.A. Nadaraya, "Nonparametric Estimation of Probability Densities and Regression Curves", Kluwer 1989

このシリーズで最初に取り上げる洋書です。

 

修士ではほぼ甘利先生の研究の肩に乗っかって連想記憶の記憶容量の話をやっていました(これについてはまた別の本の時にとりあげると思います)が、電総研に入って何か新しいことにトライしようといろいろ文献とか本とかを漁っていた中で、情報数理研究室の書棚にあったこの本をたまたま見つけました(麻生さんが購入されたもののようです)。

 

その頃はまだ統計とかの基礎知識もほとんどなくて、この本の著者が Nadaraya-Watson 推定量とかで有名な人とかいう認識も全くありませんでした。

その頃、機械学習と確率分布の推定はほとんど一緒ということになんとなく気づいて、複雑な分布を簡単に推定できる方法はないかと探していたところでこの本のカーネル密度推定というのを初めて知りました。

しかも、ターゲットとなる確率密度が高階微分可能でそれに応じて適切なカーネル関数を用意すれば次元の呪いも避けることができるというのがすごいなと思いました。(実際にはその仮定の妥当性とかいろいろ難しいところはあるのですが)

 

そのカーネル密度推定の考え方を応用して、サンプルにノイズをのせることで汎化能力の高い学習器が作れると思って、当時NECの山西さんとかが運営をやられていた Algorithmic Learning Theory (ALT) の黎明期に発表しました。

その少し後に Bishop が同じような研究を発表していましたが、やはり向こうの方が知名度も発表場所も、そして論文の完成度も上回っていたので、私の研究は国際的には注目されることはありませんでした。 まああまりそういうの気にしすぎると研究なんてできませんし、基本的には科学的・数学的な発見というのは発見されること自体が重要で、誰が見つけ出したかはそれほど重要ではないと思っています。

日本国内では東芝の山田貢己さんがこの研究を気に入ってくれましたが、彼は今頃どうしているのでしょうか。

 

あと、研究室の書棚とかも今はありませんし、電総研の図書室もなくなってしまいました。 電子版が普及してきたとはいえ、今どきの研究所は本を大事にするという考えは薄いようです。 一方、統数研にはいまのところまだちゃんと図書室が整備されているようで一安心です。