印刷

2018年度　統計数理   Theory of Statistical Mathematics

文字サイズ  小中大

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
数理・計算科学コース
担当教員名
金森 敬文 
授業形態
講義     
メディア利用科目
曜日・時限(講義室)
火7-8(W834)  金7-8(W834)  
クラス
-
科目コード
MCS.T507
単位数
2
開講年度
2018年度
開講クォーター
1Q
シラバス更新日
2018年3月20日
講義資料更新日
-
使用言語
日本語
アクセスランキング
media

講義の概要とねらい

統計学と機械学習の理論に関する発展的話題を講義する．具体的には，PAC学習可能性とVC次元の関係，学習誤差・予測誤差の統計的性質，カーネル法と呼ばれるノンパラメトリック学習の方法，高次元データの解析手法，さらには推定を効率的に行うための最適化技法などを解説する．

到達目標

【到達目標】統計学と機械学習はデータから有用な情報を引き出し人間の意思決定に役立てる学問である．方法論を知識として得るだけでなく，それら手法の正当性など背景となる理論を学ぶことでその本質的理解を促し，広く様々な問題に各種手法を適用し，また自ら新しい手法を構築できるようになることが到達目標である．
【テーマ】本講義では統計学のより進んだ技法のいくつかを，様々な応用分野との関連を踏まえながら学ぶ．特に機械学習との関連を重視し，統計学・機械学習の双方で中心的な話題を紹介する．

キーワード

機械学習，統計学，PAC学習，高次元データ解析，カーネル法，サポートベクトルマシン，最適化，凸解析

学生が身につける力(ディグリー・ポリシー)

✔ 専門力 教養力 コミュニケーション力 ✔ 展開力(探究力又は設定力) 展開力(実践力又は解決力)

授業の進め方

黒板を用いた板書を中心に講義を進める．

授業計画・課題

  授業計画 課題
第1回 機械学習と統計学の概要 機械学習の概要と統計学との関係を学ぶ．確率論を復習し確率不等式を理解する．
第2回 統計的学習理論の問題設定 統計的学習理論の問題設定を理解する．学習誤差，予測誤差，ベイズ誤差，ベイズルールなどの基礎事項を学ぶ．
第3回 PAC学習可能性とVC次元 PAC学習可能性について学ぶ．VC次元を理解する．
第4回 統計的学習の基本定理 統計的学習の基本定理を学ぶ．PAC学習可能性，VC次元，一様収束性の関係を理解する．
第5回 ラデマッハ複雑度 ラデマッハ複雑度による予測誤差の評価法を理解する．
第6回 代理損失の理論 判別問題における代替損失と予測誤差の関係を学ぶ．
第7回 回帰分析：最小2乗法，正則化，交差検証法 回帰分析における統計的データ解析法を学ぶ．
第8回 高次元スパース回帰分析 高次元データに対する代表的な統計的方法であるスパース回帰分析を学ぶ．
第9回 回帰分析とカーネル法 回帰分析におけるカーネル関数による統計的モデリングを理解する．
第10回 カーネル法の理論 I：正定値カーネル カーネル関数の性質を学ぶ
第11回 カーネル法の理論 II：再生核ヒルベルト空間 再生核ヒルベルト空間と呼ばれる無限次元モデルを用いたカーネル法を知る．
第12回 スプライン平滑化とカーネル法 スプライン平滑化よとばれるノンパラメトリック法とカーネル法の関連を学ぶ．
第13回 判別分析とカーネル法：サポートベクトルマシン 判別問題に対するカーネル法であるサポートベクトルマシンを学ぶ．
第14回 サポートベクトルマシンの計算アルゴリズム サポートベクトルマシンのための効率的な計算アルゴリズムを学ぶ．
第15回 多値判別 誤り訂正出力符号化法など，多値判別のための学習アルゴリズムを学ぶ．

教科書

特になし

参考書、講義資料等

Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.

成績評価の基準及び方法

レポート

関連する科目

  • MCS.T223 ： 数理統計学
  • MCS.T402 ： 数理最適化理論
  • MCS.T403 ： 統計的学習理論

履修の条件(知識・技能・履修済科目等)

特に無し．ただし，統計および確率論の基礎を知っていることが望ましい．

連絡先（メール、電話番号）    ※”[at]”を”@”(半角)に変換してください。

kanamori[at]c.titech.ac.jp

オフィスアワー

事前にメールで連絡を取ること．

このページのトップへ