数理最適化,機械学習,画像処理などの分野で注目されている凸最適化問題に対する勾配を用いた手法を理解するための基本的な概念を解説する.凸最適化において基本的な凸集合の定義から始め,特に連続微分可能な凸関数に段階的に話題を限定していく.その過程で順次,最適化問題の解の性質(最適性条件)や一般的な数値解法である最急降下法,ニュートン法,共役勾配法,準ニュートン法などの解説を行う.後半ではNesterovによって提案されたリプシッツ連続な勾配をもつ微分可能凸関数に対する加速勾配法の詳細を解説する.
【到達目標】 凸最適化問題の数値的解法に必要な数学的な概念や知識を基礎から積み上げ,解説を行っていく.そのなかで,定義や定理の証明なども丁寧に確認していく.期待される目標としては,基本的な諸定理が凸最適化分野における専門的な学術論文でどのような役割を持っているかを把握し,さらに数理最適化や機械学習で登場する問題においても応用できる素養を身につけることである.
【テーマ】 前半では凸最適化問題を数学的に解析するために重要な諸定理の紹介を行う.後半では近年,非常に注目を浴びているNesterov系の加速勾配法について基本的な概念を数理的な視点から解説する.
凸関数,アルゴリズム解析,凸最適化問題,数理最適化における数値解法,リプシッツ連続な勾配をもつ微分可能凸関数,加速勾配法
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
各講義では証明の説明があり,アルゴリズムや定義の解説が行われる.
授業計画 | 課題 | |
---|---|---|
第1回 | 凸集合および関連諸定理 | 成績評価基準についての説明 |
第2回 | リプシッツ連続微分可能関数 | |
第3回 | 微分可能関数に対する最適性条件 | |
第4回 | 無制約最適化問題を最小化するアルゴリズム,最急降下法 | |
第5回 | ニュートン法,共役勾配法,準ニュートン法 | |
第6回 | 微分可能凸関数 | |
第7回 | 理解度確認総合演習 | |
第8回 | リプシッツ連続な勾配をもつ微分可能凸関数 | |
第9回 | 勾配を用いた手法における最悪ケース解析 | |
第10回 | 微分可能凸関数に対する最急降下法 | |
第11回 | 微分可能凸関数に対する加速勾配法における推定級数 | |
第12回 | 微分可能凸関数に対する加速勾配法 | |
第13回 | min-max問題における加速勾配法 | |
第14回 | 加速勾配法の諸拡張 |
学修効果を上げるため,教科書や配布資料等の該当箇所を参照し,「毎授業」授業内容に関する予習と復習(課題含む)をそれぞれ概ね100分を目安に行うこと。
特になし
D. P. Bertsekas, Nonlinear Programming, 2nd edition, (Athena Scientific, Belmont, Massachusetts, 2003).
Y. Nesterov, Introductory Lectures on Convex Optimization: A Basic Course, (Kluwer Academic Publishers, Boston, 2004).
Y. Nesterov, Lectures on Convex Optimization, 2nd edition, (Springer, Cham, Switzerland, 2018).
J. Nodedal and S. J. Wright, Numerical Optimization, 2nd edition, (Springer, New York, 2006).
凸集合,凸関数に関する基本的な定理および数理最適化の基本的な数値解法を理解していること.中間・期末試験もしくはレポートにより成績の評価を行う.
線形代数や微分積分など,数学の基本的な知識や証明法がしっかりと身についていること.