印刷

2019年度　統計数理   Theory of Statistical Mathematics

文字サイズ  小中大

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
数理・計算科学コース
担当教員名
金森 敬文 
授業形態
講義     
メディア利用科目
曜日・時限(講義室)
火7-8(W834)  金7-8(W834)  
クラス
-
科目コード
MCS.T507
単位数
2
開講年度
2019年度
開講クォーター
1Q
シラバス更新日
2019年3月18日
講義資料更新日
2019年4月26日
使用言語
英語
アクセスランキング
media

講義の概要とねらい

統計学と機械学習の理論に関する発展的話題を講義する．具体的には，カーネル法と呼ばれるノンパラメトリック学習の方法，学習誤差・予測誤差の統計的性質，Rademacher複雑度による誤差評価，さらに最近発展している深層学習アルゴリズムなどを解説する．

到達目標

【到達目標】統計学と機械学習はデータから有用な情報を引き出し人間の意思決定に役立てる学問である．方法論を知識として得るだけでなく，それら手法の正当性など背景となる理論を学ぶことでその本質的理解を促し，広く様々な問題に各種手法を適用し，また自ら新しい手法を構築できるようになることが到達目標である．
【テーマ】本講義では統計学のより進んだ技法のいくつかを，様々な応用分野との関連を踏まえながら学ぶ．特に機械学習との関連を重視し，統計学・機械学習の双方で中心的な話題を紹介する．

キーワード

機械学習，統計学，カーネル法，予測誤差，Rademacher複雑度，深層学習

学生が身につける力(ディグリー・ポリシー)

✔ 専門力 教養力 コミュニケーション力 ✔ 展開力(探究力又は設定力) 展開力(実践力又は解決力)

授業の進め方

黒板を用いた板書を中心に講義を進める．

授業計画・課題

  授業計画 課題
第1回 回帰分析とカーネル法 回帰分析におけるカーネル関数による統計的モデリングを理解する．
第2回 カーネル法の理論I：正定値カーネル カーネル関数の性質を学ぶ．
第3回 カーネル法の理論II：再生核ヒルベルト空間 再生核ヒルベルト空間と呼ばれる無限次元モデルを用いたカーネル法を知る．
第4回 スプライン平滑化とカーネル法 スプライン平滑化よとばれるノンパラメトリック法とカーネル法の関連を学ぶ．
第5回 判別分析とカーネル法：サポートベクトルマシン 判別問題に対するカーネル法であるサポートベクトルマシンを学ぶ．
第6回 多値判別 誤り訂正出力符号化法など，多値判別のための学習アルゴリズムを学ぶ．
第7回 カーネル埋め込みの方法 カーネル埋め込み法とその統計的推論への応用を学ぶ．
第8回 統計的学習理論の問題設定 統計的学習理論の問題設定を理解する．学習誤差，予測誤差，ベイズ誤差，ベイズルールなどの基礎事項を学ぶ．
第9回 確率不等式 確率論を復習し確率不等式を理解する．
第10回 有限仮説集合の予測誤差 モデルの複雑度と予測誤差の関係を学ぶ．
第11回 Rademacher複雑度 モデルのRademacher複雑度について学ぶ．
第12回 Rademacher複雑度による予測誤差の評価 ラデマッハ複雑度による予測誤差の評価法を理解する．
第13回 代理損失の理論 判別問題における代替損失と予測誤差の関係を学ぶ．
第14回 サポートベクトルマシンの計算アルゴリズム サポートベクトルマシンのための効率的な計算アルゴリズムを学ぶ．
第15回 敵対的生成ネットワーク(GAN) 画像生成のモデルなどに使われるGenerative Adversarial Networks(GAN)のアルゴリズムと統計的性質を学ぶ．

教科書

特になし

参考書、講義資料等

Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.

成績評価の基準及び方法

レポート

関連する科目

  • MCS.T223 ： 数理統計学
  • MCS.T402 ： 数理最適化理論
  • MCS.T403 ： 統計的学習理論

履修の条件(知識・技能・履修済科目等)

統計および確率論の基礎を知っていることが望ましい．

連絡先（メール、電話番号）    ※”[at]”を”@”(半角)に変換してください。

kanamori[at]c.titech.ac.jp

オフィスアワー

事前にメールで連絡を取ること．

このページのトップへ