本講義では、機械学習および深層学習における基本的な概念について述べる。
【到達目標】
・識別的機械学習の基本的な概念(分類や凸最適化など)や手法(確率的勾配降下法や誤差逆伝搬法など)を理解する
・ツールやプログラムを用いて機械学習を実践する
【テーマ】本講義の前半では.線形モデルを題材に最適化の基本的な考え方を習得する.後半では,深層学習の基礎と実践について理解する.
機械学習・回帰・分類・最適化・線形モデル・ニューラルネット・深層学習
✔ 専門力 | 教養力 | コミュニケーション力 | 展開力(探究力又は設定力) | 展開力(実践力又は解決力) |
講義の中で機械学習のツールについても説明する.
授業計画 | 課題 | |
---|---|---|
第1回 | イントロダクション | 機械学習のタスクの概要 |
第2回 | 線形モデル1 | 損失関数,経験損失最小化,過剰適合,正則化,バイアスとバリアンス,線形モデル (線形回帰) |
第3回 | 最適化基礎1 | 問題設定・勾配法・制約付き最適化 |
第4回 | 最適化基礎2 | 凸最適化,双対性 |
第5回 | 線形モデル2 | 線形モデル(分類),ロジスティック回帰,(線形・カーネル)サポートベクタマシン |
第6回 | 線形モデル3 | L1正則化,スパース学習,Lasso |
第7回 | スケーラブルな学習 | 確率勾配・加速度項付き勾配・モーメント・ミニバッチ・分散並列学習 |
第8回 | 深層学習の概要 | 実世界における適用事例 |
第9回 | 深層フィードフォワードネットワーク | 多層パーセプトロン,隠れユニット,活性化関数,計算グラフ |
第10回 | 深層ネットワークの学習 | 勾配に基づく学習,誤差逆伝搬法,正則化,ドロップアウト |
第11回 | 表現学習 | 分散表現,単語埋め込み,潜在意味解析,Skip-gramモデル |
第12回 | 畳み込みネットワーク | 畳み込み,プーリング,ゲート付き線形ユニット,特徴量抽出 |
第13回 | 再帰的ネットワーク | 再帰的ニューラルネットワーク,木構造ニューラルネットワーク,長期短期記憶,ゲート付き再帰ユニット |
第14回 | エンコーダ・デコーダ | 系列・系列モデル,注意機構 |
第15回 | 深層学習のアプリケーション | テキスト生成,実装 |
授業で適宜資料を配布する.
英語版シラバスを参照.
レポート課題(70%)や演習等(30%)で成績を評価する.
特になし
特になし