toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

Phillip D. Leird「例からの学習ー計算論的学習理論」オーム社 1992

修士のときまでは統計学のことはほとんど知らなかったので、モデル選択関係については統計学からではなく、連想記憶の容量の話に関連して Cover の線形識別器の容量が 2 N になることから入って、Valiant の学習可能性、VC 次元というように知識を増やしていきました。学習の対象も、線形識別器のほかは論理式の学習とかの話が多かった気がします。

 

この本を買ったのは電総研に入ってかなり経った 1995 年頃ですが、その頃にはだいぶ統計の知識も増えてきて、計算論的学習理論で扱っているような論理系の学習の話についての関心は薄らいでいきました。この本の翻訳をされた横森先生の序文によると Leird 氏は親日家で電総研に 1990 年に滞在したというような話を書かれていますが、私は全く記憶になく、もったいないことをしたなという気持ちになります。

 

どこの研究室に滞在されたかはわからないのですが、少なくとも情報数理ではなかったと思います。1990 年はまだ入所したてで、大津さんの不変特徴抽出の話とか、高次自己相関特徴、多変量解析なんかを勉強している時期だったと思います。

 

VC 次元や Rademacher complexity の研究と、AIC/BIC 系の研究は、相互に似たようなものを扱っているにも関わらず、解析するための道具立てとかが違うせいか、あまり交流がなかったように思います。今ではモデル選択の分野としてある程度まとまっているとは思いますが、昔は Rissanen や Vapnik が ibis に招待されて来たときに、AIC/BIC 路線の方々と(よくわからない)バトルが繰り広げられていたように記憶しています。そういうのを見て、モデル選択業界はちょっと闇深いなと思いました。私自身は、現実的には何使ってもそんなに変わらないと思いますし、前にも書いたようにモデルを一つには決めない方がいいという考え方になってきました。