toddler’s diary

以前は研究にあまり関係ない雑談・2023年4月から本を通じた自分の振り返りやってます

R.T.Rockafeller "Convex Analysis" Princeton University Press 1996

最適化については何冊か本を持っていますが、この本は pdf で見られるので紙の本を持っている必要はないかもしれません。SVMが流行っていたころは、凸な問題であることの優位性が異常に強調されていたイメージです。一方、今ではディープラーニングは非凸の代表格ですが、逆にほとんどの局所解が大域解と同程度の性能ということで、両極端ですがそれはそれで認められている気がします。

 

自分自身で非凸の問題に取り組んだのは、(制約付き)多項式の最適化で、多項式最適化という手法があることがあることを知って、しばらく自分で調べたり、年頃が近い村松さんに連絡して勉強しようと思っていましたが、どこかで少し発表しただけで立ち消えになってしまいました。グレブナー基底を使った解法なんかも検討したと思いますが、一般的に大域解が求められる条件がよくわからなすぎて、結局ちゃんとした仕事にできませんでした。

 

凸な場合も双対問題を解いたときの解が最適解になる条件とかも厳密にはよく理解していなくて、カーネル本を書いた時もその辺りはちょっとごまかしがあるような気がします。SVM は主双対内点法とかで解くのが最近のデフォルトらしいですし、その辺はあまり心配する話ではないかもしれません。