統計学と機械学習の理論に関する発展的話題を講義する.具体的には,カーネル法と呼ばれるノンパラメトリック学習の方法,学習誤差・予測誤差の統計的性質,Rademacher複雑度による誤差評価,さらに最近発展している深層学習アルゴリズムなどを解説する.
【到達目標】統計学と機械学習は,データから有用な情報を引き出し,予測や意思決定に役立てる学問である.方法論を知識として得るだけでなく,それら手法の正当性など背景となる理論を学ぶことでその本質的理解を促し,広く様々な問題に各種手法を適用し,また自ら新しい手法を構築できるようになることが到達目標である.
【テーマ】本講義では統計学のより進んだ技法のいくつかを,様々な応用分野との関連を踏まえながら学ぶ.特に機械学習との関連を重視し,統計学・機械学習の双方で中心的な話題を紹介する.
機械学習,統計学,カーネル法,予測誤差,Rademacher複雑度,深層学習
✔ 専門力 | 教養力 | コミュニケーション力 | ✔ 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
板書とスライドにより講義を進める.
授業計画 | 課題 | |
---|---|---|
第1回 | 回帰分析とカーネル法 | 回帰分析の問題設定を学ぶ.回帰分析におけるカーネル関数による統計的モデリング,正則化法,カーネルリッジ回帰について理解する. |
第2回 | カーネル法の理論 I:正定値カーネル | 正定値行列を復習し,正定値カーネルの定義を理解する.その性質と例を学ぶ. |
第3回 | カーネル法の理論 II:再生性,表現定理など. | カーネル法による統計的方法で用いられる再生性,表現定理などを理解する. |
第4回 | スプライン平滑化とカーネル法 | ノンパラメトリック法であるスプライン平滑化とカーネル法の関連を学ぶ. |
第5回 | 判別分析とカーネル法:サポートベクトルマシン | 判別問題に対するカーネル法であるサポートベクトルマシンを学ぶ. |
第6回 | 確率不等式 | 確率論を復習し,機械学習で用いられる確率不等式を理解する. |
第7回 | 統計的学習理論の問題設定 | 統計的学習理論の問題設定を理解する.仮説集合,学習誤差,予測誤差,ベイズ誤差,ベイズルールなどの基礎事項を学ぶ. |
第8回 | 有限仮説集合の予測誤差 | 有限仮説集合を用いる統計的学習における予測誤差の導出を学ぶ. |
第9回 | Rademacher複雑度 | 仮説集合の複雑度を測るRademacher複雑度について学ぶ. |
第10回 | 一様大数の法則とラデマッハ複雑度 | 大数の法則を一般化した一様大数の法則を学ぶ.一様大数の法則とラデマッハ複雑度の関係を理解する. |
第11回 | 学習アルゴリズムの汎化誤差 | さまざまな学習アルゴリズムの汎化誤差を導出する方法を理解する. |
第12回 | 深層学習 | 深層ニューラルネットワークの学習アルゴリズムを学ぶ. |
第13回 | 敵対的生成ネットワーク | 画像生成のモデルなどに使われるGenerative Adversarial Networks(GAN)のアルゴリズムと統計的性質を学ぶ. |
第14回 | まとめ | 講義の総括する.今後の展望について学ぶ. |
学修効果を上げるため,教科書や配布資料等の該当箇所を参照し,「毎授業」授業内容に関する予習と復習(課題含む)をそれぞれ概ね100分を目安に行うこと。
特になし
講義資料を配布する.
参考書:Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.
レポート
統計および確率論の基礎を知っていることが望ましい.