H30年度 統計的学習理論   Statistical Learning Theory

文字サイズ 

アップデートお知らせメールへ登録 お気に入り講義リストに追加
開講元
数理・計算科学コース
担当教員名
渡辺 澄夫  樺島 祥介 
授業形態
講義
曜日・時限(講義室)
月1-2(G321)  木1-2(G321)  
クラス
-
科目コード
MCS.T403
単位数
2
開講年度
H30年度
開講クォーター
2Q
シラバス更新日
H30年3月20日
講義資料更新日
-
使用言語
英語
アクセスランキング

講義の概要とねらい

統計的学習理論における情報学習理論と情報統計力学について講義する。 第1部「情報学習理論」では予測精度の向上や知識構造の発見において広く用いられている大きな複雑さを持つ学習モデルを紹介し、その数学的構造を扱うための方法を述べる。第2部「情報統計力学」では、高次元分布からの情報抽出に伴う計算量的困難の解決に有用な統計力学由来の近似理論について紹介する。

到達目標

【到達目標】与えられた例から情報源を推測することを統計的学習という。大自由度を持つ学習モデルにおいて成り立つ法則を理解し、予測精度の向上や知識の発見を行うための方法を実問題に応用できるようになることが到達目標である。
【テーマ】高次元空間上にある極めて多数のデータを大規模な学習モデルを用いて扱うための数学的な方法および統計力学的な方法を紹介し、具体的問題への応用を述べる。なお「統計的学習理論」は広い領域を表す言葉であり、その全貌を理解するために、この講義だけでなく、講義「統計数理」および講義「機械学習」も合わせて受講することを推奨する。

キーワード

統計学 情報理論 情報統計力学 自由エネルギー エントロピー

学生が身につける力

国際的教養力 コミュニケーション力 専門力 課題設定力 実践力または解決力
- - -

授業の進め方

講義は前半と後半に分かれています。前半では情報学習理論を、後半では情報統計力学を学びます。

授業計画・課題

  授業計画 課題
第1回 統計的学習理論とは 統計的学習とは何かを理解する
第2回 神経回路網の構造 神経回路網を理解する
第3回 神経回路網の学習 神経回路網の学習を理解する
第4回 ボルツマンマシン ボルツマンマシンを理解する。
第5回 深層学習 深層学習を理解する。
第6回 情報量と相対エントロピー 情報量と相対エントロピーを理解する
第7回 予測精度の理論 予測精度の理論を理解する
第8回 構造発見の理論 構造発見の理論を理解する
第9回 モンテカルロ法 高次元でのサンプリングの計算量的難しさを理解する.
第10回 マルコフ連鎖モンテカルロ法 メトロポリス・ヘイスティングス法を理解する
第11回 発展的マルコフ連鎖モンテカルロ法 発展的なマルコフ連鎖モンテカルロ法を理解する.
第12回 変分推論法 変分推論法を理解する.
第13回 変分ガウス混合モデル 変分推論法のガウス混合モデルへの応用を理解する
第14回 木グラフと確率伝搬法 確率伝搬法を理解する.
第15回 ループのあるグラフと近似的確率伝搬法 近似的確率伝搬法を理解する.

教科書

特になし。

参考書、講義資料等

参考書はありません。統計的学習理論を学ぶためには、この科目のほかに講義「統計数理」と講義「機械学習」を履修してください。

成績評価の基準及び方法

レポート提出による。

関連する科目

  • MCS.T507 : 統計数理
  • ART.T458 : 機械学習

履修の条件(知識・技能・履修済科目等)

学部時代に確率と統計を学習していること

このページのトップへ