R.J.A. Little, D.B. Rubin "Statistical Analysis with Missing Data (2nd edition)" Wiley 2002
もともと 1987 発行の第２版で，統計学素人の私でも聞いたことのある有名人の著者です．とはいえ，それぞれの著者の人のことを詳しく知っているわけではなく，Rubin は因果推論とかでよく聞く名前だなという程度です．
この本も積読されていた本ですが，欠損値の問題は実用的には行列分解で埋めるか EM かベイズで推定する感じでいいかくらいの認識なので，あまり読む気はしないです．
欠損値にしても因果にしても設定がいろいろあってそれぞれごとにいろいろ手法があって面倒な話が多いわりに数学的に面白いと思えるポイントが少ないのがなんとなく敬遠している理由でしょうか．とはいえ，欠損値の補間については聞かれることも多いので，いざという時のために捨てるのはためらわれるという類の本です．
吉田善章，永長直人，石村直之，西成活裕「東京大学工学教程 基礎系 数学 非線形数学」丸善出版 2016
産総研というところにいると自分でも気づかないうちに実用志向の研究にバイアスしていき，いくら「社会の役に立つことなんか興味はない」と吠えてみても，純粋数学の人たちと触れるごとに自分の弱小さが際立ってしまいます．
大学の頃は，線形なんて手垢まみれの世界はきっとつまらないからということで非線形の本をいくつか買ってみたものの，当然自分の能力をはるかに超えた世界でちんぷんかんぷんでした．計数に進むと，学問の世界をよく見ている同級生とかはソリトンとかそれまで聞いたこともなかったところに自分の道を見つけていってすごいなと思っていました．その代表は今九大で活躍されている梶原健司君でした．数年前にふとしたきっかけで短時間お話しする機会があったのですが，昔から変わらぬ貫禄がさらに風格を増した感じでした．
修士でやっていた統計神経力学の解析のまねごとの話はまあ線形の範囲内でしたし，多変量解析やそれを非線形化したと称するカーネル法も数学としては線形空間の話です．博士でやった混合分布の分岐における汎化の話もTICとかはまあ線形ガウスの反中です．情報幾何もアファイン座標系とかほぼほぼ線形の話ですし，私の研究の中では線形の外に飛び出すことは結局ありませんでした．
この東大工学部の教程シリーズはほかにも何冊か買ったのでそのついでに買った本ですが，「非線形」という線形でないという不思議なキーワードの世界を概観するのに「線形手法では解けない問題」というくくりでいろいろなものが紹介されており，自分の研究には役には立ちそうもないですが，一通りは読んでその世界の最低限の知識は持っておこうと思います．
下平英寿, 伊藤秀一, 久保川達也, 竹内啓「モデル選択 予測・検定・推定の交差点」岩波書店 2004
最近の自分の研究関連では情報量規準を使ったモデル選択をすることが減って来ているので、この手の本を参照することも減りました。とはいえ、AICやBICの導出は統計教育の基本なので時々忘れないように復習したりはします。
この本の著者のうち、竹内先生は言わずもがなの超有名人でこれまでも書いてきたように残念ながら直接の面識はなく多分リアルで拝見したこともないです。久保川先生は今は知りませんが昔はつくばにお住まいだったので荒川沖から車で送迎したことがあるくらいです。ただ、研究の話はあまりしたことありません。最近本屋で久保川先生の著作をよく見かけるなというくらいです。下平さんは昔から有名でした。計数の工場実習という今でいうインターンみたいなのが単位になっていて、前にも書いたかもしれないですが私は長崎の三菱電機でほぼ遊びに行ったようなものですが、下平さんは私の少し下でATRで短期間ですごく活躍されたという噂を聞いて、すごい人もいるものだと思った記憶があります。ただし残念なことになかなか直接お話しする機会はなく、最近になって学術変革データ記述科学の会合で少しだけお話しする機会がありました。伊藤先生は有名な方だとは思うのですが、統計業界とちょっと疎遠な私にはほとんど接点はありません。
話はずれますが、最近 chatGPT に作文してもらうみたいなことは増えましたが、機械学習の解説を chatGPT に書かせて便利だなと思う反面、色々問題があるなということは感じ始めています。まず、自分で書いたという達成感がないです。当たり前ですが、それゆえ産みの苦しみみたいなのはないですね。あとは、やはり自分らしさが消えているので自分の作文として発表するのは気が引けます。英語の論文とかでほとんど下書き書いたものを英語的に自然に書き直してもらうのとかは全く気にならないのですが、日本語だとやはりそれなりの自尊心というものがあるからでしょうか。細かいニュアンスを伝えて反映させるのもプロンプトを相当工夫しないと無理で、それなら自分で書き直した方がいいなということになります。まあ書き直す前の初期解くらいには使えますかね。今後もう少し使いやすくはなっていくと思いますが、現状はまだまだ使いにくい部分もある気がします。
情報理論とその応用学会（編）「確率過程 応用と話題」培風館 1994
甘利研では，ニューラルネットという方向性以外に情報理論という方向性があり，明確に分かれていたわけではありませんが，韓先生，小林欣吾先生など情報理論系の研究も活発でした．私はどちらかというとニューラルネットよりの研究をしていたこともあり研究上の実績はゼロでしたがいろいろ勉強させてもらいました．
電総研に入ってからは情報理論の観点はより弱くなり，IBIS が山西さんによって立ち上げられるまではかなり疎遠でした．そんな中でこの本は確率過程に関するわかりやすい本として購入し，点過程・確率場・拡散過程など，逆に今の深層学習の時代に知っておくべき基礎知識に対する解説書としてよい本だと思います．
私のD論の副査もしていただいてすでに亡くなられた岡部先生も揺動散逸定理を軸に解説を書かれています．学生の頃は揺動散逸定理は機械学習でいうバイアスバリアンス分解のように，重要ではあるけどある意味基本的すぎてその発展とかを見通す力はなかったのですが，そこから因果解析とか定常性検定とかに発展させる話が載っています．
私は結構研究の浅い段階でもう満足してしまってそれ以上深く掘ろうとかあまり思えない性質なのもあって，これで曲がりなりにも研究者を名乗っているのはちょっと申し訳ない気持ちにもなります．
渡辺澄夫「データ学習アルゴリズム」共立出版 2001
渡辺澄夫さんはまだリコーの時代に神経回路学会か何かで福水さんといっしょにお会いしたのが最初だと思います．以来いろいろなところでお世話になり，SVMの解説で信学会でのチュートリアルから森北の出版に結びつき，最終的に岩波本になりました．
東工大の客員教授として迎え入れていただいたのも渡辺さん経由で，結局すずかけ台が遠すぎて学生指導もろくにできませんでしたし，私の研究室も渡辺研に間借りする形となりました．
渡辺さんは言わずと知れた大先生ですが，あまり深い研究の話をしたことはないです．数理工学をやっている人間は甘利先生のようなスーパースターは別として，なんか中途半端で，数学者ほど数学のことは知らず，物理学者ほど強力な武器はもっていないという感じで，渡辺さんも研究の深いところで私に期待している部分は少なかったと思います（ジェントルな方なので表向きは最大級の敬意をはらっていただいて逆に恐縮していました）．渡辺さんとよく話をしていたのは，研究者をめぐる環境の話とか，そういう一般的な話でした．
この本は渡辺さんが書いた機械学習の一般的な教科書で，田崎晴明さんとも近しいこともあり，本の書きぶりにやや似た雰囲気を感じます．注釈が結構長いところとかも特徴的でしょうか．注釈に結構だいじなことが書いてあります．出版が 2001 年ということで，内容的にやや古さは感じますが，読み方によってはいまでも面白い本だと思います．
甘利俊一「めくるめく数理の世界 情報幾何学 人工知能 神経回路網理論」サイエンス社, 2024
いきなり最新の本を取り上げます．
ノーベル物理学賞以来甘利先生の話題が世の中でも話題に出ていて Youtube の動画も検索すると最近のものが結構多いです．
ただ，電総研に入ってから意外に甘利先生との関係が薄かった気がします．よく考えたら甘利先生の最終講義にも行っていません（そもそも誰かの最終講義というのにほとんど参加した記憶はないですが）．当時はつくばと東大も距離的に遠かったと思いますし，過去メールひっくりかえしましたがたぶん最終講義の案内も来てなかったかもしれません．最近藤木さんから見せてもらった最終講義の動画を見ると大津さんとかはいたようなので，単に情報収集能力の欠如という感じでしょうか．
修士出たくらいで甘利先生の弟子を名乗るのもやや気は引けますが，分野的には完全に甘利先生とかぶっていて，なんなら甘利先生の真部分集合でしか仕事してこなかった自分としてはそこに引け目は感じています．
なんとか自分自身の研究をやりたいなと思ってはいても，アイディアに乏しく能力も足りないということで，何十年たっても甘利先生の手のひらからすら出られていない気もします．
まあこの年になるとやや足掻くのはあきらめようみたいな気持ちにはなっていて，こうういう本も気楽に読めるようになっています．もともとこの本のことも知らなくて最近産総研に戻ってこられた栗田さんに教えてもらいました．
自分の中では甘利先生不死身説があるのですが，先日の情報幾何のワークショップで体調崩されて最後に少しだけ顔出された感じとか見ると，（病気なので仕方ないですが）あの甘利先生でもさすがに少しは衰えられるのだなと感じました．研究において自分の存在意義など０に等しいですが，少しでも若くて優秀な人が生まれるようにサポートするのには貢献できるかもしれないと思って生きています．
服部哲弥「確率変数の収束と対数の完全法則 少しマニアックな確率論入門」共立出版 2019
３月から５月までなんだかいろいろなタスクが山積みだったので，復活宣言したこのブログも更新がおろそかになっていました．コロナの時のように感染を恐れながらも，なんだかのんびり過ごしていた時間がなつかしいです．
さて，最近 chatGPT の力も借りつつ機械学習の基礎となる解説を書いていて，それは直接には統数研のプロジェクトの中での講義資料として作っています（いずれは公開するかもしれません）．いろいろな分野の人と触れ合ってきたおかげもあり，広く浅い知識はあるのですが，ちゃんと突っ込まれるとそこはどうなんだろうという怪しい部分もあり，こうして整理していると自分の知識の穴が補完されていく感じです． chatGPT すごいです．
さて，この本は確率関係の本をいろいろ買ってきた一環で，タイトルにマニアックとあるのでそれにつられたというのもありますが，よくよく読んでみると学習理論，特に PAC 学習そのものを扱っている本だということがわかります．ただ，著者の人は意図的にか意図せずかわかりませんが，全くその関連性には触れていません．
Glivenco-Cantelli の定理とか，Rademacher complexity とかなじみの単語がばんばん出てきます．機械学習の本として売ればもう少し売れてもよさそうですが，著者はそんな俗っぽい考え方が嫌いなのかもしれません．なお，著者の服部先生は私より８歳くらい年上で東大理物出身のようですが，面識は全くありません．
とはいえ，自分には数学的に細かすぎてちょっと全部を追う気にはなれません．簡単な場合でだいたい納得して，一般の場合はその延長線上でだいたい成り立つだろうくらいの理解ですませていることが多いです．自分だったら１０ページくらいの本になっていたと思います．
