統計学の発展的話題を提供する.特に機械学習との関連技法を紹介し,その理論を解説する.具体的には,高次元データ解析手法や特異モデルの統計学といった従来の古典的統計学の枠組みでは扱えない最近の話題を取り上げる.また,カーネル法と呼ばれるノンパラメトリック推定手法や教師なし学習手法,さらには推定を効率的に行うための最適化技法といった計算手法までを解説する.
【到達目標】統計学と機械学習はデータから有用な情報を引き出し人間の意思決定に役立てる学問である.方法論を知識として得るだけでなく,それら手法の正当性など背景となる理論を学ぶことでその本質的理解を促し,広く様々な問題に各種手法を適用しまた自ら新しい手法を構築できるようになることが到達目標である.
【テーマ】本講義では統計学のより進んだ技法のいくつかを,様々な応用分野との関連を踏まえながら学ぶ.特に機械学習との関連を重視し,統計学・機械学習の双方で中心的な話題を紹介する.
機械学習,統計学,高次元データ解析,サポートベクトルマシン,カーネル法,最適化,凸解析,教師なし学習,学習理論
✔ 専門力 | 教養力 | コミュニケーション力 | ✔ 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
黒板を用いた板書を中心に講義を進める.
授業計画 | 課題 | |
---|---|---|
第1回 | 機械学習と統計学 | 機械学習の概要と統計学との関係を学ぶ. |
第2回 | バイアス・バリアンストレードオフ | 教師あり学習における予測誤差とバイアスとバリアンスの関係を学ぶ. |
第3回 | モデル選択 | 過学習と呼ばれる現象を知り,モデル選択による解決法を理解する. |
第4回 | 高次元スパース推定 | 高次元データ解析において有用なスパース推定の方法論を知る. |
第5回 | 種々の正則化推定法 | 様々なスパース正則化推定法を知る. |
第6回 | 高次元スパース推定の統計的性質 | 高次元スパース推定の理論,特に推定誤差の評価を学ぶ. |
第7回 | 正則化学習の最適化技法 | 正則化学習を効率的に実行する最適化技法を学ぶ. |
第8回 | オンライン学習法 | データが逐次的に到達するオンライン学習の枠組みを学ぶ. |
第9回 | オンライン確率的最適化法 | 逐次的にデータを観測することで大量データを効率的に扱う確率的最適化手法を学ぶ. |
第10回 | カーネル法の基礎 | 再生核ヒルベルト空間と呼ばれる無限次元モデルを用いたカーネル法を知る. |
第11回 | カーネル法の各種応用 | カーネル法の種々の応用について学ぶ. |
第12回 | 教師なし学習法のモデル | 教師なし学習の枠組みと,代表的ないくつかのモデルを学ぶ. |
第13回 | 教師なし学習法の手法・理論 | 教師あり学習を実現する方法論と,そこに必要な理論を学ぶ. |
第14回 | PAC学習理論の基礎 | なぜ学習はうまくいくのかという疑問に応えるPAC学習理論の基礎的事項を知る. |
第15回 | PAC学習理論の発展的話題 | PAC学習理論のより発展した事項を知る. |
特になし
特になし
レポート
特に無し.ただし,統計および確率論の基礎を知っていることが望ましい.