toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

J.ハーツ,A.クロー,R.G.パルマー「ニューラルコンピュータ 統計物理学からのアプローチ」アジソン ウェスレイ トッパン 1994

この本の内容は私の修論の話とかなりオーバーラップしています。何度も書いているように、統計物理の手法に圧倒されて、素朴な解析がなんとなく無力に感じていた時期です。それでも何かしらはやらないといけないと思って忘却入れた話とか、時間を考えたりとか電総研に入った当初はいろいろ模索していました。

 

この辺の話の源流はいろいろあると思うのですが、一つはこの本に出てくる Gardner の解析です。もともと Cover の線形識別器の記憶容量が 2n になるという証明に感心して修論にも載せたくらいですが、Gardner が統計物理の考え方で、今思えばバージョンスペースの体積を統計力学的定式化+鞍点法で解くという手法がそれまで会ったことのないアプローチでした。鞍点法については倉田さん・甘利先生とスパースコーディングの計算の中で使って、最初よくわかっていませんでしたが強力な手法だなと思っていました。なお、この Elizabeth Gardner はちょうど私が修士入ったころにすでに30歳の若さで亡くなられた伝説の女性研究者でした。

 

この本は訳語の選択が一般的に使われているものとはかなり違っていてたぶんそれは読みにくさの原因になっています。たぶん機械学習系の人は訳者に入っていないのでしょう。汎化が一般化になっているのはまあしょうがないとして、強化学習が強制学習になっているのはかなり違和感があります。もはや絶版(出版社自身がない?)になっている本にケチをつけるのもどうかなとは思いますが。