- ホーム
- > 情報理工学院
- > 数理・計算科学コース
- > 統計的学習理論
- 開講元
- 数理・計算科学コース
- 授業形態
- 講義
- メディア利用科目
- 曜日・時限(講義室)
- 月1-2(H135) 木1-2(H135)
- クラス
- -
- 科目コード
- MCS.T403
- 単位数
- 2
- 開講年度
- 2019年度
- 開講クォーター
- 2Q
- シラバス更新日
- 2019年4月22日
- 講義資料更新日
- -
- 使用言語
- 英語
- アクセスランキング
-
media
講義の概要とねらい
統計的学習理論における情報学習理論と情報統計力学について講義する。 第１部「情報学習理論」では予測精度の向上や知識構造の発見において広く用いられている大きな複雑さを持つ学習モデルを紹介し、その数学的構造を扱うための方法を述べる。第２部「情報統計力学」では、高次元分布からの情報抽出に伴う計算量的困難の解決に有用な統計力学由来の近似理論について紹介する。
到達目標
【到達目標】与えられた例から情報源を推測することを統計的学習という。大自由度を持つ学習モデルにおいて成り立つ法則を理解し、予測精度の向上や知識の発見を行うための方法を実問題に応用できるようになることが到達目標である。
【テーマ】高次元空間上にある極めて多数のデータを大規模な学習モデルを用いて扱うための数学的な方法および統計力学的な方法を紹介し、具体的問題への応用を述べる。なお「統計的学習理論」は広い領域を表す言葉であり、その全貌を理解するために、この講義だけでなく、講義「統計数理」および講義「機械学習」も合わせて受講することを推奨する。
キーワード
統計学 情報理論 情報統計力学 自由エネルギー エントロピー
学生が身につける力(ディグリー・ポリシー)
| ✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
授業の進め方
講義の第１回に前提知識に関係するテストを行い、履修の許可者と不許可者を決定します。テストの内容は線形代数、微分積分、確率論、統計学になります。
講義は前半と後半に分かれています。前半では情報学習理論を、後半では情報統計力学を学びます。
授業計画・課題
| 授業計画 | 課題 | |
|---|---|---|
| 第1回 | 講義の紹介 前提知識に関するテストを行って履修許可者を決定 | 講義の概要を知り 講義の履修が許可されるかどうかが決定されます |
| 第2回 | 神経回路網の構造 | 神経回路網を理解する |
| 第3回 | 神経回路網の学習 | 神経回路網の学習を理解する |
| 第4回 | ボルツマンマシン | ボルツマンマシンを理解する。 |
| 第5回 | 深層学習 | 深層学習を理解する。 |
| 第6回 | 情報量と相対エントロピー | 情報量と相対エントロピーを理解する |
| 第7回 | 予測精度の理論 | 予測精度の理論を理解する |
| 第8回 | 構造発見の理論 | 構造発見の理論を理解する |
| 第9回 | モンテカルロ法 | 高次元でのサンプリングの計算量的難しさを理解する． |
| 第10回 | マルコフ連鎖モンテカルロ法 | メトロポリス・ヘイスティングス法を理解する |
| 第11回 | 発展的マルコフ連鎖モンテカルロ法 | 発展的なマルコフ連鎖モンテカルロ法を理解する． |
| 第12回 | 変分推論法 | 変分推論法を理解する． |
| 第13回 | 変分ガウス混合モデル | 変分推論法のガウス混合モデルへの応用を理解する |
| 第14回 | 木グラフと確率伝搬法 | 確率伝搬法を理解する． |
| 第15回 | ループのあるグラフと近似的確率伝搬法 | 近似的確率伝搬法を理解する． |
教科書
特になし。
参考書、講義資料等
参考書はありません。統計的学習理論を学ぶためには、この科目のほかに講義「統計数理」と講義「機械学習」を履修してください。
成績評価の基準及び方法
レポート提出による。
関連する科目
- MCS.T507 ： 統計数理
- ART.T458 ： 機械学習
履修の条件(知識・技能・履修済科目等)
線形代数、微分積分、確率論、統計学を学んでいること
