統計的学習理論における情報学習理論と情報統計力学について講義する。 第1部「情報学習理論」では予測精度の向上や知識構造の発見において広く用いられている大きな複雑さを持つ学習モデルを紹介し、その数学的構造を扱うための方法を述べる。第2部「情報統計力学」では、高次元分布からの情報抽出に伴う計算量的困難の解決に有用な統計力学由来の近似理論について紹介する。
【到達目標】与えられた例から情報源を推測することを統計的学習という。大自由度を持つ学習モデルにおいて成り立つ法則を理解し、予測精度の向上や知識の発見を行うための方法を実問題に応用できるようになることが到達目標である。
【テーマ】高次元空間上にある極めて多数のデータを大規模な学習モデルを用いて扱うための数学的な方法および統計力学的な方法を紹介し、具体的問題への応用を述べる。なお「統計的学習理論」は広い領域を表す言葉であり、その全貌を理解するために、この講義だけでなく、講義「統計数理」および講義「機械学習」も合わせて受講することを推奨する。
統計学 情報理論 情報統計力学 自由エネルギー エントロピー
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | ✔ 展開力(実践力又は解決力) |
講義は前半と後半に分かれています。前半では情報学習理論を、後半では情報統計力学を学びます。
授業計画 | 課題 | |
---|---|---|
第1回 | 統計的学習理論とは | 統計的学習とは何かを理解する |
第2回 | 神経回路網の構造 | 神経回路網を理解する |
第3回 | 神経回路網の学習 | 神経回路網の学習を理解する |
第4回 | ボルツマンマシン | ボトルマンマシンを理解する。 |
第5回 | 深層学習 | 深層学習を理解する。 |
第6回 | 情報量と相対エントロピー | 情報量と相対エントロピーを理解する |
第7回 | 予測精度の理論 | 予測精度の理論を理解する |
第8回 | 構造発見の理論 | 構造発見の理論を理解する |
第9回 | ベイズ推論と統計力学の類似性 | ベイズの公式にもとづく推論方式を理解する。カノニカル分布と自由エネルギーを理解する。 |
第10回 | 理想気体とイジングモデル | 理想気体とイジングモデルを例として状態方程式の概念を理解する。 |
第11回 | 平均場近似 | イジングモデルにおける分子場近似とベーテ近似を理解する。 |
第12回 | 確率伝搬法と疎グラフ上の推論 | 統計モデルのグラフ表現と確率伝搬法を理解する。 |
第13回 | 確率伝搬法と密グラフ上の推論 | 近似的メッセージ伝搬法を理解する。 |
第14回 | 統計力学的形式論 | 自由エネルギーにもとづく期待値計算と線形応答関係を理解する。 |
第15回 | 自由エネルギーとハイパーパラメータ推定 | 変分原理、変分ベイズ,EMアルゴリズムを理解する。 |
特になし。
参考書はありません。統計的学習理論を学ぶためには、この科目のほかに講義「統計数理」と講義「機械学習」を履修してください。
レポート提出による。
学部時代に確率と統計を学習していること