電総研に入ってから主成分分析とか判別分析なんかは知ったのですが、因子分析について知ったのはかなり後でした。何かの本に、主成分分析は確率モデルがなく、因子分析は確率モデルがあるというような説明がありましたが、全然ピンと来ていませんでした。大津さんの解説を読むと、主成分分析も多変量ガウス分布と密接な関係があると書いてあります。ベイズの文脈で生成モデルという考え方を知ってやっと腑に落ちました。結局のところ、ベイズ主成分分析とか考えると因子分析とほとんど同じものになりますね。統計ではベイズというのが微妙な立ち位置なので、伝統的な因子分析の説明は、機械学習的には不思議な感じになっています。
因子分析は独立成分分析(ICA)との関係でも少し出てきます。結局主成分分析にしても回転の自由度があって、それをどう決めるかということで、ICA以前の因子分析では名前の付いたいろいろな軸の決め方がありましたが、私の周辺ではほぼ絶滅してしまった感じはあります。
ICAは奈良で一度国際会議があり、能舞台でのプレゼン（自分は発表なかったですが）というレアな経験あり、Francis Bach がカーネルICAがらみで発表していました。私のカーネルCCAがらみで Berkeley の福水さんのところに遊びに行った前後でもあり、一番 Bach とは近かった時期です。その後スペインのグラナダでも ICAの会議があり、アルハンブラ宮殿に行きました。スペインの国際会議は昼休憩が長くてしかも昼間っからワインを飲むというのんびり楽しい会議でした。グラナダはその後 NIPS でも会議があり、NIPS にしてはゆるい感じだった印象があります。
