toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

M. Opper, D. Saad (eds.) "Advanced Mean Field Methods, Theory and Practice" MIT Press 2001

樺島君とゆかいな仲間たちの頃,平均場近似(変分ベイズ)の話が盛り上がっていました.その主な方向性はいわゆるナイーブ平均場近似をより高度にしていくというもので,TAP 理論などが有望視されていました.実際この本の中で樺島さんなんかはその方向で執筆されています.

 

この本ではそのほか,私がオランダで世話になった Kappen や機械学習で有名なところで言うと Jaakkola や Ghahramani, Titterington のほか,甘利先生・池田思朗さん・田中利幸さんなんかが書かれていて主要なプレイヤーでした.

 

以前にここでも書いたように,樺島さんと田中和之さんを招待して平均場近似虎の穴という二日間みっちり平均場近似について聞くイベントをやりました.田中和之さんはその当時のことを覚えてくださっていて,東北大のNC研究会に行ったときにそのときの話をしてくださいました.

 

私自身はこの問題についてはあまり貢献はできず,興味も仕事もMCMC関係に重点が移っていきました.そういえば TAP 平均場近似は機械学習ではあまり広まらなかったような気がします.ナイーブ平均場近似が混合分布や行列分解で十分だったということでしょうか.そもそも業界全体がディープラーニングに偏っていて,こうした基本的な問題を研究しようという研究者の人口は必ずしも増えていないような気がします.

 

以前に理研AIP・東大の杉山将さんがAI学会で理論研究者は必ずしも増えていないというような指摘をされていましたが,そこは私も少し危惧しているところで,純粋な ibis 研究者(ディープを除く理論研究者)というのはやはり依然絶滅危惧種なのではないかと思っています.