2020年度 統計数理   Theory of Statistical Mathematics

文字サイズ 

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
数理・計算科学コース
担当教員名
金森 敬文 
授業形態
講義
曜日・時限(講義室)
火7-8(W834)  金7-8(W834)  
クラス
-
科目コード
MCS.T507
単位数
2
開講年度
2020年度
開講クォーター
1Q
シラバス更新日
2020年3月24日
講義資料更新日
-
使用言語
日本語
アクセスランキング
media

講義の概要とねらい

統計学と機械学習の理論に関する発展的話題を講義する.具体的には,カーネル法と呼ばれるノンパラメトリック学習の方法,学習誤差・予測誤差の統計的性質,Rademacher複雑度による誤差評価,さらに最近発展している深層学習アルゴリズムなどを解説する.

到達目標

【到達目標】統計学と機械学習は,データから有用な情報を引き出し,予測や意思決定に役立てる学問である.方法論を知識として得るだけでなく,それら手法の正当性など背景となる理論を学ぶことでその本質的理解を促し,広く様々な問題に各種手法を適用し,また自ら新しい手法を構築できるようになることが到達目標である.
【テーマ】本講義では統計学のより進んだ技法のいくつかを,様々な応用分野との関連を踏まえながら学ぶ.特に機械学習との関連を重視し,統計学・機械学習の双方で中心的な話題を紹介する.

キーワード

機械学習,統計学,カーネル法,予測誤差,Rademacher複雑度,深層学習

学生が身につける力

国際的教養力 コミュニケーション力 専門力 課題設定力 実践力または解決力

授業の進め方

板書とスライドにより講義を進める.

授業計画・課題

  授業計画 課題
第1回 回帰分析とカーネル法 回帰分析の問題設定を学ぶ.回帰分析におけるカーネル関数による統計的モデリング,正則化法,カーネルリッジ回帰について理解する.
第2回 カーネル法の理論 I:正定値カーネル 正定値行列を復習し,正定値カーネルの定義を理解する.その性質と例を学ぶ.
第3回 カーネル法の理論 II:再生性,表現定理など. カーネル法による統計的方法で用いられる再生性,表現定理などを理解する.
第4回 スプライン平滑化とカーネル法 ノンパラメトリック法であるスプライン平滑化とカーネル法の関連を学ぶ.
第5回 判別分析とカーネル法:サポートベクトルマシン 判別問題に対するカーネル法であるサポートベクトルマシンを学ぶ.
第6回 確率不等式 確率論を復習し,機械学習で用いられる確率不等式を理解する.
第7回 統計的学習理論の問題設定 統計的学習理論の問題設定を理解する.仮説集合,学習誤差,予測誤差,ベイズ誤差,ベイズルールなどの基礎事項を学ぶ.
第8回 有限仮説集合の予測誤差 有限仮説集合を用いる統計的学習における予測誤差の導出を学ぶ.
第9回 Rademacher複雑度 仮説集合の複雑度を測るRademacher複雑度について学ぶ.
第10回 一様大数の法則とラデマッハ複雑度 大数の法則を一般化した一様大数の法則を学ぶ.一様大数の法則とラデマッハ複雑度の関係を理解する.
第11回 学習アルゴリズムの汎化誤差 さまざまな学習アルゴリズムの汎化誤差を導出する方法を理解する.
第12回 深層学習 深層ニューラルネットワークの学習アルゴリズムを学ぶ.
第13回 敵対的生成ネットワーク 画像生成のモデルなどに使われるGenerative Adversarial Networks(GAN)のアルゴリズムと統計的性質を学ぶ.
第14回 まとめ 講義の総括する.今後の展望について学ぶ.

教科書

特になし

参考書、講義資料等

講義資料を配布する.
参考書:Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.

成績評価の基準及び方法

レポート

関連する科目

  • MCS.T223 : 数理統計学
  • MCS.T402 : 数理最適化理論
  • MCS.T403 : 統計的学習理論

履修の条件(知識・技能・履修済科目等)

統計および確率論の基礎を知っていることが望ましい.

このページのトップへ