本講義では、機械学習および深層学習における基本的な概念について述べる。
【到達目標】
・識別的機械学習の基本的な概念(分類や凸最適化など)や手法(確率的勾配降下法や誤差逆伝搬法など)を理解する
・ツールやプログラムを用いて機械学習を実践する
【テーマ】本講義の前半では.線形モデルを題材に最適化の基本的な考え方を習得する.後半では,深層学習の基礎と実践について理解する.
機械学習・回帰・分類・最適化・線形モデル・ニューラルネット・深層学習
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
講義の中で機械学習のツールについても説明する.
授業計画 | 課題 | |
---|---|---|
第1回 | イントロダクション | 機械学習のタスクの概要 |
第2回 | 線形モデル1 | 損失関数,経験損失最小化,過剰適合,正則化,バイアスとバリアンス,線形モデル (線形回帰) |
第3回 | 最適化基礎1 | 問題設定・勾配法・制約付き最適化 |
第4回 | 最適化基礎2 | 凸最適化,双対性 |
第5回 | 線形モデル2 | 線形モデル(分類),ロジスティック回帰,(線形・カーネル)サポートベクタマシン |
第6回 | 線形モデル3 | L1正則化,スパース学習,Lasso |
第7回 | スケーラブルな学習 | 確率勾配・加速度項付き勾配・モーメント・ミニバッチ・分散並列学習 |
第8回 | 深層学習の概要 | 実世界における適用事例 |
第9回 | フィードフォワードネットワーク (1) | 二値分類, しきい値論理ユニット, 単層パーセプトロン, パーセプトロン, シグモイド関数, 確率的勾配降下法, 多層パーセプトロン, 誤差逆伝搬法, 計算グラフ, 自動微分, 万能近似定理 |
第10回 | フィードフォワードネットワーク (2) | 多値分類, 線形多値分類, ソフトマックス関数, 確率的勾配降下法, ミニバッチ学習, ロス関数, 活性化関数, ドロップアウト |
第11回 | 畳み込みニューラルネットワーク | 畳み込み演算, 画像フィルタ, プーリング, 畳み込みニューラルネットワーク, ImageNet, AlexNet, ResNet |
第12回 | 単語ベクトル | 単語埋め込み, 分散表現, 分布仮設, 相互情報量, 特異値分解, word2vec, 単語のアナロジー, GloVe, fastText |
第13回 | 構造化データのための深層ニューラルネットワークモデル | 再帰型ニューラルネットワーク (RNNs), 勾配消失/勾配爆発, Long Short-Term Memory (LSTM), Gated Recurrent Units (GRUs), Recursive Neural Network, Tree-structured LSTM |
第14回 | エンコーダ・デコーダ | 言語モデル, 再帰型ニューラル言語モデル, エンコーダ・デコーダモデル, 系列モデル, 注意機構, 畳み込み系列モデル, Transformer, ELMo, BERT |
学修効果を上げるため,教科書や配布資料等の該当箇所を参照し,「毎授業」授業内容に関する予習と復習(課題含む)をそれぞれ概ね100分を目安に行うこと。
授業で適宜資料を配布する.
英語版シラバスを参照.
レポート課題(70%)や演習等(30%)で成績を評価する.
特になし
特になし