国立大学法人 東京工業大学

講義の概要とねらい

数理最適化，機械学習，画像処理などの分野で注目されている凸最適化問題に対する勾配を用いた手法を理解するための基本的な概念を解説する．凸最適化において基本的な凸集合の定義から始め，特に連続微分可能な凸関数に段階的に話題を限定していく．その過程で順次，最適化問題の解の性質（最適性条件）や一般的な数値解法である最急降下法，ニュートン法，共役勾配法，準ニュートン法などの解説を行う．後半ではNesterovによって提案されたリプシッツ連続な勾配をもつ微分可能凸関数に対する加速勾配法の詳細を解説する．

到達目標

【到達目標】　凸最適化問題の数値的解法に必要な数学的な概念や知識を基礎から積み上げ，解説を行っていく．そのなかで，定義や定理の証明なども丁寧に確認していく．期待される目標としては，基本的な諸定理が凸最適化分野における専門的な学術論文でどのような役割を持っているかを把握し，さらに数理最適化や機械学習で登場する問題においても応用できる素養を身につけることである．
【テーマ】　前半では凸最適化問題を数学的に解析するために重要な諸定理の紹介を行う．後半では近年，非常に注目を浴びているNesterov系の加速勾配法について基本的な概念を数理的な視点から解説する．

キーワード

凸関数，アルゴリズム解析，凸最適化問題，数理最適化における数値解法，リプシッツ連続な勾配をもつ微分可能凸関数，加速勾配法

学生が身につける力(ディグリー・ポリシー)

授業の進め方

各講義では証明の説明があり，アルゴリズムや定義の解説が行われる．

授業計画・課題

授業時間外学修（予習・復習等）

学修効果を上げるため，教科書や配布資料等の該当箇所を参照し，「毎授業」授業内容に関する予習と復習（課題含む）をそれぞれ概ね100分を目安に行うこと。

教科書

特になし

参考書、講義資料等

D. P. Bertsekas, Nonlinear Programming, 2nd edition, (Athena Scientific, Belmont, Massachusetts, 2003).
Y. Nesterov, Introductory Lectures on Convex Optimization: A Basic Course, (Kluwer Academic Publishers, Boston, 2004).
Y. Nesterov, Lectures on Convex Optimization, 2nd edition, (Springer, Cham, Switzerland, 2018).
J. Nodedal and S. J. Wright, Numerical Optimization, 2nd edition, (Springer, New York, 2006).

成績評価の基準及び方法

凸集合，凸関数に関する基本的な定理および数理最適化の基本的な数値解法を理解していること．中間・期末試験もしくはレポートにより成績の評価を行う．

関連する科目

• MCS.T506 ： 計算機支援数理
• IEE.A430 ： 数値的最適化

履修の条件(知識・技能・履修済科目等)

線形代数や微分積分など，数学の基本的な知識や証明法がしっかりと身についていること．