カーネル本を書いたときにサポートベクターマシンは双対問題に変換して解くというような説明の仕方が主流で、実際そのような説明を書きました。現代流の説明では、どう最適化するかはまあパッケージがやってくれるので、中身について知りたければもっと別のところで説明するというやり方の方がよいかなとも思います。
問題は、主問題と双対問題の等価性、つまりいわゆる強い双対定理が成り立つことをどう説明するかということでした。いろんな本を読んでもそのあたりがあまりはっきりせず、一番頼りになったのが福島先生のこの本でした。とはいえ、双対定理周りの条件は話が結構込み入っていて、カーネル本のようなところで触れるにはちょっと重すぎる話になってしまいます。とりあえず付録のところでそれなりに書きましたが、福島先生のこの本を読むと、かなり不正確な書き方をしているなあと感じます。
LASSOをはじめとして、最近では微分可能ではない点が存在するような最適化問題を考えることが結構あって、そういう場合の微分に代わるものとして劣微分という概念も出てくるわけですが、その辺の話もこの本を読むとよく理解できます。ただし、双対定理をはじめとして、定理が成り立つための条件がいろいろとあって、そのあたりを全部把握するのが専門外の人間にとってはもうちょっと整理されているといいなと思ったりします。
