J.A.Lee, M. Verleysen "Nonlinear dimensionality reduction" Springer 2007

次元削減のいい本がないかと思って買った本ですが，これは正直期待外れでした．t-SNE とかも載っていないし（SNE だけかろうじて載っています），深層学習系はもともと期待はしていませんでしたが載っていません．枯れた手法を体系的に書くというのはそれなりに意味があるのだと思いますが，それもなくて，スイスロールとかの比較実験みたいなのがいっぱい載っているという本です．

このブログシリーズは必ずしも書評が目的ではないので，これくらいにしておきますが，これを反面教師として私が次元削減の本をこの薄い３００ページくらいで書くとして，どう書くかは結構悩むかもしれません．

次元削減という話は電総研に入って大津さん・栗田さん・麻生さんなどから影響を受けて，主としてやってきたテーマではあるように思います．ただ，次元削減というテーマは広すぎてなかなか本にするのが難しいと思います．自分自身の仕事としては，カーネル関係，情報幾何関係，正準相関関係などに限定することで独自性を出してきたかなと思います．日野さんと次元推定の論文を出したこともありますが，あれは議論に参加させてもらっただけで，自分の仕事という感じはないです．

有山正孝「振動・波動」裳華房 1970

残っている本が少なくなってきて，どの本を選ぶかも難しくなってきました．甘利先生関係の本はたくさん残っているのですが，ちゃんと残しておきたいエピソードを思い出すまで寝かしてあります．

この本は教科書として持っていた本ですが，大学の時にどんな講義で受講したのか全く覚えていません．大学教養の頃はサークルやってたり，ただ本を読んだりぼーっとしたり，高校時代の友達とやっていた班ノートを書いたり，テレビ見たり，いろいろなことで時間を過ごしていて，必ずしも大学の勉強に集中したわけではなく，あまり面白くもない講義はよくさぼっていました．もしかするとそういう講義のうちの一つだったのかもしれません．

日吉に住んでいた時は，自炊スペースが共用だったのでほとんど自炊はせずに部屋でできたのは電気湯沸かし器とオーブントースターだけでできることだけやっていました．炊飯器は日吉で買ったのか小石川に移ってから買ったのか忘れましたが，小石川に引っ越してちょっとまともに自炊するようになりました．凝った料理は作りませんでしたが，オムレツとか味噌汁とか炒め物なんかはよく作りました．ごま油でいためればなんとなくそれっぽいものができてしまいます．

前に書いたように風呂と洗濯機はなかったので，銭湯とコインランドリーに通っていました．潔癖症というわけでもなく，毎日お風呂に入らないと我慢できないみたいなこともないので，薄汚れた格好で薄汚れた服を着て結構すごしていたと思います．周りの人には何か思われていたのかもしれません．

宮川 雅巳「品質を獲得する技術: タグチメソッドがもたらしたもの」日科技連 2000

企業共同研究をしていて、企業側に統計に詳しい人がいるときは、品質管理の専門家という場合が結構あります。特に製造業では品質管理が最重要ということだと思います。

企業共同研究は電総研時代は全くやりませんでした。産総研になっても基本は論文を書くための研究（というかたいして論文も書いていませんでしたがともかく役に立つことを特に意識しない研究）をしていました。一番最初はトヨタ系のメーカーでなぜか睡眠ステージの予測の研究を相談されました。ほかにも産総研のメンバーは名前を連ねていましたが、機械学習関連の研究者は私だけだったので一人で対応しました。その後もいくつかの企業とご一緒しましたが、ほとんどは一人ないし少人数での対応が多かった気がします。

産総研は基本的には手を動かすほどのマンパワーは足りていないので、コンサルティング的にアドバイスしたりするのがメインとなります。アドバイザー側の人間が多すぎると船頭多くして船山に上るという感じになりかねないので、企画の人たちはまとめたがりますが一人の対応の方がずっとうまくいきます。一方、企業側に全く技術者がいないか手を動かす気がなくて産総研を外注先くらいに思っているところはたいていうまくいっていません。

B. コルテ, J. フィーゲン「組合せ最適化 第2版」シュプリンガー東京 2009

辞書のように分厚いこの本は実際に参照することはあまりありませんでした。研究というのは論文を生み出すビジネスなので、現時点で論文を生み出せるネタに注力することになり、それは必ずしもその研究分野全体を代表しているとは限りません。

応用分野であれば、最適化問題を解くこと自体が目的であって、最適化そのものに関する新規性は必要ないですが、基礎分野は新規性のあるテーマが必要なので、それは部外者の視点からは見えにくいものだと思います。研究所において、研究者でない人が経営層にいるとその辺を勘違いした考えでいろいろなことを進めてしまっておかしなことが起きやすいと思います。

朱鷺の杜wikiはどちらかというと過去研究のまとめですが、いろいろな分野でどのテーマが熱くて、しかもレッドオーシャンではない今後伸びてくるであろうテーマを専門家視点でまとめたサイトがあるといいなと思います。これは日々アップデートする必要があるのでメンテがすごく大変そうですが。

伊藤正夫（編）「脳と思考」紀伊国屋書店 1991

学生の頃からずっと脳科学と情報科学がつかず離れずで進んできた状況を見てきました．この本もそうですが，いろいろなプロジェクトが立ち上がり，その成果物の一つとして本が生まれます．まあ書いてある内容はどれも似たり寄ったりという気もします．

この手のプロジェクトは，予算を通すための政治的な意図や策略がこめられていて，純粋に自然科学を追求するというだけではない胡散臭さもやや感じます．そんな純粋なものなどお花畑の世界でそもそも存在しないのかもしれません．

脳科学と情報科学というテーマはそもそも難題です．だから，そもそもそんなすごい成果が５年や１０年で出てくることは期待してはいけないように思います．それでも人的交流して，長く続けることに意義はあると思います．

私の考え方のベースとして，テーマよりも人が優先というのがあります．どんなに立派なテーマを立てても携わる人がだめならうまくいかないと思っています．また，スター選手だけ集めればよいわけではなくて，人と人とのシナジーが生まれるような組み合わせが必要です．人間関係は目に見えにくいですが，プロジェクトの成否に大きくかかわるファクターだと思います．これはプロジェクトのプロポーザルではなかなか見えてこないのが厄介なところで，CRESTなどプロジェクトのアドバイザリボードの人とかはそのあたりを見極められる人であることが望ましいとは思いますが，実際のところどうなんでしょうか．まあ私のこうした考え方自体に賛同できないと言われてしまえばそれまでなのですが．

S. Sra, S. Nowozin, S. J. Wright "Optimization for machine learning" MIT Press 2012

今は NeurIPS と呼ぶ NIPS は私が電総研に入る少し前から開催されていました．その前身は以前にも書いたユタ州の Snowbird で開かれた Learning workshop で，私も一度参加しました． NIPS の方は 1992 年頃にデータにノイズをのせる話を投稿しましたが見事にリジェクトで，その後は投稿する気が失せて参加することもありませんでした．その後，福水さんや津田さんが NIPS の常連となっていったのに便乗して少しだけ関わるようになりました． 福水さんが短期で産総研に滞在されたことがあって，そのときに議論した mixture の特異性に関する論文がたぶん私の最初の NIPS 論文です．

NIPS はワークショップも活発で，津田さんと情報幾何の話を出したのもどこかのワークショップでしたし，入力空間でのマージンに基づく SVM も本会議には落ちましたがワークショップに拾ってもらいました．ただ，その後は唐木田さん・甘利先生との論文が通るまでは発表なしでただ参加するだけの会議でした．

この本は 2008, 2009 年の NIPS optimization workshop から作られた本で，セレクトはされていると思いますがワークショップの内容でも十分クオリティが高い内容です．相変わらず分厚くて重いのが難点です．

Te Won Lee "Independent Component Analysis: Theory and Applications" Kluwer Academic Publishers 1998

ICA の本で最初に買ったのはこの本だと思います．調べてみると Hyvarinen の本はその前に出ているようですが，あの分厚い本に比べてこちらはコンパクトです．例によってこの ICA 初期の有名人である著者とは面識がありません．

ICA とかは今の深層学習のモデルに比べるとものすごく単純です．それゆえ，理論解析とかもやりやすくて当時は新参者でもいろいろなアイディアを出して研究できました．ニューラルネットでも私が修士から電総研入った頃は連想記憶とか単純なモデルだったので，私のようなものでも理論ぽい話が割とやりやすかったと思います．一方，今の深層学習はいちいちモデルが複雑で，その全体を理論解析するのとかは難しく，逆にどの部分に着目するかというセンスが問われているように思います．