統計学と機械学習の理論に関する発展的話題を講義する.具体的には,PAC学習可能性とVC次元の関係,学習誤差・予測誤差の統計的性質,カーネル法と呼ばれるノンパラメトリック学習の方法,高次元データの解析手法,さらには推定を効率的に行うための最適化技法などを解説する.
【到達目標】統計学と機械学習はデータから有用な情報を引き出し人間の意思決定に役立てる学問である.方法論を知識として得るだけでなく,それら手法の正当性など背景となる理論を学ぶことでその本質的理解を促し,広く様々な問題に各種手法を適用し,また自ら新しい手法を構築できるようになることが到達目標である.
【テーマ】本講義では統計学のより進んだ技法のいくつかを,様々な応用分野との関連を踏まえながら学ぶ.特に機械学習との関連を重視し,統計学・機械学習の双方で中心的な話題を紹介する.
機械学習,統計学,PAC学習,高次元データ解析,カーネル法,サポートベクトルマシン,最適化,凸解析
✔ 専門力 | 教養力 | コミュニケーション力 | ✔ 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
黒板を用いた板書を中心に講義を進める.
授業計画 | 課題 | |
---|---|---|
第1回 | 機械学習と統計学の概要 | 機械学習の概要と統計学との関係を学ぶ.確率論を復習し確率不等式を理解する. |
第2回 | 統計的学習理論の問題設定 | 統計的学習理論の問題設定を理解する.学習誤差,予測誤差,ベイズ誤差,ベイズルールなどの基礎事項を学ぶ. |
第3回 | PAC学習可能性とVC次元 | PAC学習可能性について学ぶ.VC次元を理解する. |
第4回 | 統計的学習の基本定理 | 統計的学習の基本定理を学ぶ.PAC学習可能性,VC次元,一様収束性の関係を理解する. |
第5回 | ラデマッハ複雑度 | ラデマッハ複雑度による予測誤差の評価法を理解する. |
第6回 | 代理損失の理論 | 判別問題における代替損失と予測誤差の関係を学ぶ. |
第7回 | 回帰分析:最小2乗法,正則化,交差検証法 | 回帰分析における統計的データ解析法を学ぶ. |
第8回 | 高次元スパース回帰分析 | 高次元データに対する代表的な統計的方法であるスパース回帰分析を学ぶ. |
第9回 | 回帰分析とカーネル法 | 回帰分析におけるカーネル関数による統計的モデリングを理解する. |
第10回 | カーネル法の理論 I:正定値カーネル | カーネル関数の性質を学ぶ |
第11回 | カーネル法の理論 II:再生核ヒルベルト空間 | 再生核ヒルベルト空間と呼ばれる無限次元モデルを用いたカーネル法を知る. |
第12回 | スプライン平滑化とカーネル法 | スプライン平滑化よとばれるノンパラメトリック法とカーネル法の関連を学ぶ. |
第13回 | 判別分析とカーネル法:サポートベクトルマシン | 判別問題に対するカーネル法であるサポートベクトルマシンを学ぶ. |
第14回 | サポートベクトルマシンの計算アルゴリズム | サポートベクトルマシンのための効率的な計算アルゴリズムを学ぶ. |
第15回 | 多値判別 | 誤り訂正出力符号化法など,多値判別のための学習アルゴリズムを学ぶ. |
特になし
Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.
レポート
特に無し.ただし,統計および確率論の基礎を知っていることが望ましい.
kanamori[at]c.titech.ac.jp
事前にメールで連絡を取ること.