H29年度 統計的学習理論   Statistical Learning Theory

文字サイズ 

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
数理・計算科学コース
担当教員名
渡辺 澄夫  樺島 祥介 
授業形態
講義
曜日・時限(講義室)
月1-2(G511)  木1-2(G511)  
クラス
-
科目コード
MCS.T403
単位数
2
開講年度
H29年度
開講クォーター
3Q
シラバス更新日
H29年4月18日
講義資料更新日
-
使用言語
英語
アクセスランキング

講義の概要とねらい

統計的学習理論における情報学習理論と情報統計力学について講義する。 第1部「情報学習理論」では予測精度の向上や知識構造の発見において広く用いられている大きな複雑さを持つ学習モデルを紹介し、その数学的構造を扱うための方法を述べる。第2部「情報統計力学」では、高次元分布からの情報抽出に伴う計算量的困難の解決に有用な統計力学由来の近似理論について紹介する。

到達目標

【到達目標】与えられた例から情報源を推測することを統計的学習という。大自由度を持つ学習モデルにおいて成り立つ法則を理解し、予測精度の向上や知識の発見を行うための方法を実問題に応用できるようになることが到達目標である。
【テーマ】高次元空間上にある極めて多数のデータを大規模な学習モデルを用いて扱うための数学的な方法および統計力学的な方法を紹介し、具体的問題への応用を述べる。なお「統計的学習理論」は広い領域を表す言葉であり、その全貌を理解するために、この講義だけでなく、講義「統計数理」および講義「機械学習」も合わせて受講することを推奨する。

キーワード

統計学 情報理論 情報統計力学 自由エネルギー エントロピー

学生が身につける力

国際的教養力 コミュニケーション力 専門力 課題設定力 実践力または解決力
- - -

授業の進め方

講義は前半と後半に分かれています。前半では情報学習理論を、後半では情報統計力学を学びます。

授業計画・課題

  授業計画 課題
第1回 統計的学習理論とは 統計的学習とは何かを理解する
第2回 神経回路網の構造 神経回路網を理解する
第3回 神経回路網の学習 神経回路網の学習を理解する
第4回 ボルツマンマシン ボトルマンマシンを理解する。
第5回 深層学習 深層学習を理解する。
第6回 情報量と相対エントロピー 情報量と相対エントロピーを理解する
第7回 予測精度の理論 予測精度の理論を理解する
第8回 構造発見の理論 構造発見の理論を理解する
第9回 ベイズ推論と統計力学の類似性 ベイズの公式にもとづく推論方式を理解する。カノニカル分布と自由エネルギーを理解する。
第10回 理想気体とイジングモデル 理想気体とイジングモデルを例として状態方程式の概念を理解する。
第11回 平均場近似 イジングモデルにおける分子場近似とベーテ近似を理解する。
第12回 確率伝搬法と疎グラフ上の推論 統計モデルのグラフ表現と確率伝搬法を理解する。
第13回 確率伝搬法と密グラフ上の推論 近似的メッセージ伝搬法を理解する。
第14回 統計力学的形式論 自由エネルギーにもとづく期待値計算と線形応答関係を理解する。
第15回 自由エネルギーとハイパーパラメータ推定 変分原理、変分ベイズ,EMアルゴリズムを理解する。

教科書

特になし。

参考書、講義資料等

参考書はありません。統計的学習理論を学ぶためには、この科目のほかに講義「統計数理」と講義「機械学習」を履修してください。

成績評価の基準及び方法

レポート提出による。

関連する科目

  • MCS.T507 : 統計数理
  • ART.T458 : 機械学習

履修の条件(知識・技能・履修済科目等)

学部時代に確率と統計を学習していること

このページのトップへ